불안정한 테스트를 식별하고 완화하는 방법: 모범 사례 및 전략.-JS 튜토리얼-php.cn

How to Identify and Mitigate Flaky Tests: Best Practices and Strategies.

CI/CD 파이프라인의 테스트 신뢰성 및 효율성 향상

불안정한 테스트는 테스트 중인 코드를 변경하지 않고도 통과할 때도 있고 실패할 때도 있는 테스트입니다. 이러한 테스트는 테스트 스위트의 신뢰성을 약화시키기 때문에 특히 문제가 될 수 있습니다.

빌드가 통과된 후에만 코드가 사전 정의된 테스트 사례 세트를 통과하는 경우에만 CI/CD 파이프라인이 구성되어 있다고 생각해 보세요.

이상적인 상황에서는 각 테스트 사례에 우선순위를 설정하고 최신 코드 기반이 최소한 몇 퍼센트의 사례를 통과한다고 가정해야 합니다.

그러나 계속 실패하는 불안정한 테스트 사례로 인해 오래되거나 사용 사례가 변경될 수 있으므로 테스트 사례가 실패하고 끌어오기 요청 병합은 악몽이 됩니다. 통과 사례의 비율을 줄이는 대신 해당 테스트 사례를 개편하는 것을 고려해야 합니다.

Flaky Test를 이해하는 이유.

예측할 수 없는 테스트 결과: 불안정한 테스트는 코드가 변경되지 않았음에도 때때로 통과하고 때로는 실패하여 예측 불가능성을 유발합니다. 이러한 임의성은 테스트 결과를 신뢰하기 어렵게 만들 수 있습니다.
복잡한 디버깅: 불안정한 테스트의 근본 원인을 추적하는 것은 문제가 일관되게 재현되지 않아 식별하고 수정하기 어려울 수 있으므로 어려울 수 있습니다.
시간과 리소스 낭비: 개발자는 테스트를 재실행하고, 거짓 긍정을 조사하고, 실제로 코드 기능과 관련이 없는 문제를 디버깅하는 데 상당한 시간을 소비할 수 있습니다.
지속적 통합(CI)에 미치는 영향: 불안정한 테스트는 지속적인 통합 파이프라인을 방해하여 불필요한 빌드 실패로 이어지고 자동화된 테스트 프로세스의 전반적인 효율성을 저하시킬 수 있습니다.
잘못된 자신감 또는 불신: 불안정한 테스트는 산발적으로 통과할 때 잘못된 신뢰를 생성하거나 예측할 수 없게 실패할 때 테스트 모음에 대한 불신을 유발하여 테스트 결과에 의존하기 어렵게 만들 수 있습니다.

불안정한 테스트 사례를 완화하는 방법.

완화 모범 사례: 불안정한 테스트를 줄이기 위해 개발자는 외부 종속성을 모의하고, 결정적 데이터를 사용하고, 테스트를 격리하고, 실행 시기나 순서에 의존하지 않을 수 있습니다.
자동 감지: 테스트를 여러 번 실행하고 결과를 비교하여 불안정한 테스트를 감지하는 자동화된 도구를 구현하면 개발 주기 초기에 결함을 식별하고 해결하는 데 도움이 될 수 있습니다.
테스트 격리: 공유 상태나 외부 요인에 의존하지 않고 각 테스트가 완전히 격리된 상태에서 실행되도록 하면 문제가 발생할 가능성을 크게 줄일 수 있습니다.
정기 유지 관리: 테스트 스위트를 정기적으로 검토하고 리팩터링하여 불안정한 테스트를 제거하거나 수정하면 시간이 지나도 테스트 프로세스의 무결성과 신뢰성을 유지하는 데 도움이 됩니다.

불안정한 테스트 사례를 완화하기 위한 다양한 전략과 도구

Jenkins, CircleCI, Travis CI: 이와 같은 CI/CD(지속적 통합/지속적 배포) 도구는 실패한 테스트를 다시 실행하여 불안정한 테스트를 식별하는 데 도움이 되도록 구성할 수 있습니다. 불안정한 테스트를 처리하기 위한 플러그인이나 지원 기능이 내장되어 있는 경우가 많습니다.
Docker: 기업에서는 Docker를 사용하여 테스트 실행을 위한 격리된 환경을 만듭니다. 이를 통해 테스트가 실행될 때마다 일관되고 깨끗한 환경을 유지하여 환경 차이로 인한 불안정성을 줄일 수 있습니다.
가상 머신(VM): Docker와 마찬가지로 VM을 사용하면 통제되고 격리된 환경에서 테스트를 실행하여 다른 프로세스나 종속성으로 인한 간섭을 최소화할 수 있습니다.
머신러닝을 이용한 통계 분석: 일부 고급 시스템은 머신러닝을 사용하여 테스트 결과를 분석하고 불안정한 테스트를 나타내는 패턴을 식별합니다. 이는 결함을 사전에 식별하고 해결하는 데 도움이 될 수 있습니다.
코드 검토 정책 및 버전 제어 후크: 잠재적인 결함 소스에 대한 검사를 포함하는 엄격한 코드 검토 정책을 구현하면 불안정한 테스트가 도입되는 것을 방지할 수 있습니다.
변경 사항이 병합되기 전에 사전 커밋 후크 또는 기타 버전 제어 메커니즘을 사용하여 제어된 방식으로 테스트를 실행하면 불안정한 테스트를 조기에 발견할 수 있습니다.

일부 대규모 조직의 전략

구글:

실패한 테스트 재실행: Google에는 실패가 일관된지 확인하지 못한 테스트를 재실행하는 정책이 있습니다. 이는 불안정한 테스트를 식별하는 데 도움이 됩니다. 또한 광범위한 테스트 제품군에서 결함을 관리하고 완화하기 위한 내부 도구와 인프라도 갖추고 있습니다.
테스트 격리: Google은 테스트가 서로 간섭하지 않도록 하기 위해 테스트 격리의 중요성을 강조합니다. 이는 결함을 줄이는 데 매우 중요합니다.

마이크로소프트:

테스트 분석 및 보고: Microsoft는 상세한 테스트 분석 및 보고 도구를 사용하여 불안정한 테스트를 추적합니다. 시간 경과에 따른 테스트 결과를 분석하여 패턴을 식별하고 불안정한 테스트를 정확히 찾아낼 수 있습니다.
불안정한 테스트 격리: Microsoft는 때때로 불안정한 테스트를 격리하여 전체 테스트 결과에 영향을 미치지 않도록 수정될 때까지 기본 테스트 모음에서 분리합니다.

3. 페이스북:

Detox: Facebook은 모바일 앱을 테스트하기 위해 Detox라는 오픈 소스 라이브러리를 개발했습니다. Detox는 테스트가 일관된 상태와 환경에서 실행되도록 보장하여 비동기 작업 및 기타 타이밍 문제로 인한 결함을 줄입니다.
지속적 테스트: Facebook은 자동으로 테스트를 다시 실행하고 개발 주기 초기에 불안정한 동작을 식별하는 도구를 사용하여 지속적인 테스트를 개발 프로세스에 통합합니다.

4. 넷플릭스:

카오스 엔지니어링: Netflix는 카오스 엔지니어링 방식을 사용하여 시스템의 탄력성을 테스트합니다. 의도적으로 실패와 중단을 도입함으로써 불안정한 테스트를 식별하고 테스트 및 시스템의 견고성을 향상시킬 수 있습니다.
자동 재시도: Netflix는 CI/CD 파이프라인 내에서 자동화된 재시도 메커니즘을 사용하여 간헐적으로 실패한 테스트를 다시 실행하여 불안정한 테스트를 식별하고 관리하는 데 도움을 줍니다.

5. 링크드인:

플래키 테스트 관리 도구: LinkedIn은 특별히 플래키 테스트 관리를 위한 도구를 개발했습니다. 이러한 도구는 불안정한 테스트를 추적하고, 발생 여부에 대한 가시성을 제공하며, 해결 우선순위를 지정하는 데 도움이 됩니다.
테스트 환경 표준화: LinkedIn은 변동성을 줄이고 일관된 조건에서 테스트가 실행되도록 보장하여 결함을 완화하는 데 도움이 되는 테스트 환경 표준화에 중점을 둡니다.