不安定なテストを特定して軽減する方法: ベストプラクティスと戦略。-jsチュートリアル-php.cn

不安定なテストを特定して軽減する方法: ベストプラクティスと戦略。

WBOY

リリース： 2024-07-17 02:34:15

オリジナル

924 人が閲覧しました

How to Identify and Mitigate Flaky Tests: Best Practices and Strategies.

CI/CD パイプラインにおけるテストの信頼性と効率の強化

不安定なテストとは、テスト対象のコードに変更を加えずに、合格したり失敗したりするテストです。これらのテストは、テストスイートの信頼性を損なうため、特に問題となる可能性があります。

CI/CD パイプラインは、コードが事前定義されたテストケースのセットに合格した場合にのみ、ビルドが合格した後にのみ構成されるように構成されていると考えてください。

理想的な状況では、各テストケースの優先順位を設定し、最新のコードベースが少なくとも一部のケースに合格すると想定する必要があります。

しかし、不安定なテストケースが原因で失敗し続けます。テストケースが古くなったり、ユースケースが変更されたりするため、テストケースは失敗し、プルリクエストのマージが悪夢になります。合格するケースの割合を減らす代わりに、それらのテストケースを改良することを検討する必要があります。

Flaky Test を理解する理由。

予測できないテスト結果: 不安定なテストは、コードが変更されていない場合でも、合格することもあれば失敗することもあり、予測不能の原因となります。このランダム性により、テスト結果を信頼することが難しくなる可能性があります。
複雑なデバッグ: 問題が一貫して再現されず、特定して修正することが困難になるため、不安定なテストの根本原因を追跡するのは困難な場合があります。
時間とリソースの無駄: 開発者は、テストの再実行、誤検知の調査、実際にはコードの機能に関係のない問題のデバッグにかなりの時間を費やす可能性があります。
継続的インテグレーション (CI) への影響: 不安定なテストは継続的インテグレーションパイプラインを混乱させ、不要なビルドエラーを引き起こし、自動テストプロセスの全体的な効率を低下させる可能性があります。
誤った信頼または不信: 不安定なテストは、散発的に合格した場合に誤った信頼を生み出したり、予期せず失敗した場合にテストスイートに不信感を引き起こしたりする可能性があり、テスト結果に依存することが困難になります。

Flaky テストケースを軽減する方法。

緩和するためのベストプラクティス:不安定なテストを減らすために、開発者は外部の依存関係を模擬し、決定論的なデータを使用し、テストが確実に分離され、実行のタイミングや順序に依存することを避けることができます。
自動検出: テストを複数回実行して結果を比較することで不安定なテストを検出する自動ツールを実装すると、開発サイクルの早い段階で不安定さを特定して対処するのに役立ちます。
テストの分離: 共有状態や外部要因に依存せずに、各テストが完全に分離して実行されるようにすることで、不安定になる可能性を大幅に減らすことができます。
定期メンテナンス: 定期的にテストスイートをレビューおよびリファクタリングして不安定なテストを削除または修正すると、長期にわたってテストプロセスの整合性と信頼性を維持するのに役立ちます。

不安定なテストケースを軽減するためのさまざまな戦略とツール

Jenkins、CircleCI、Travis CI: これらのような継続的インテグレーション/継続的デプロイ (CI/CD) ツールは、失敗したテストを再実行するように構成でき、不安定なテストを特定するのに役立ちます。多くの場合、不安定なテストを処理するためのプラグインまたは組み込みサポートが含まれています。
Docker: 企業は Docker を使用して、テストを実行するための分離環境を作成します。これにより、テストが実行されるたびに一貫したクリーンな環境が確保され、環境の違いによって引き起こされる不安定さが軽減されます。
仮想マシン (VM): Docker と同様に、VM を使用すると、制御された隔離された環境でテストを確実に実行し、他のプロセスや依存関係からの干渉を最小限に抑えることができます。
機械学習を使用した統計分析: 一部の高度なシステムでは、機械学習を使用してテスト結果を分析し、不安定なテストを示すパターンを特定します。これは、不安定性を積極的に特定して対処するのに役立ちます。
コードレビューポリシーとバージョン管理フック: 脆弱性の潜在的な原因のチェックを含む厳格なコードレビューポリシーを実装すると、不安定なテストの導入を防ぐことができます。
コミット前フックやその他のバージョン管理メカニズムを使用して、変更がマージされる前に制御された方法でテストを実行すると、不安定なテストを早期に発見できます。

一部の大きな組織による戦略

Google:

失敗したテストを再実行する: Google には、失敗に一貫性があるかどうかを判断できないテストを再実行するポリシーがあります。これは不安定なテストを特定するのに役立ちます。また、広範なテストスイート全体の不安定性を管理および軽減するための内部ツールとインフラストラクチャも備えています。
テストの分離: Google は、テストが相互に干渉しないようにするためのテストの分離の重要性を強調しています。これは不安定性を減らすために重要です。

マイクロソフト:

テスト分析とレポート: Microsoft は、詳細なテスト分析とレポートツールを使用して不安定なテストを追跡します。テスト結果を長期にわたって分析することで、パターンを特定し、不安定なテストを特定できます。
不安定なテストの隔離: Microsoft は、不安定なテストを隔離し、テスト結果全体への影響を防ぐために修正されるまでメインのテストスイートから分離することがあります。

3. Facebook:

Detox: Facebook は、モバイルアプリをテストするために Detox と呼ばれるオープンソースライブラリを開発しました。 Detox は、一貫した状態と環境でテストが実行されることを保証し、非同期操作やその他のタイミングの問題によって引き起こされる不安定さを軽減します。
継続的テスト: Facebook は、テストを自動的に再実行し、開発サイクルの初期段階で不安定な動作を特定するツールを使用して、継続的テストを開発プロセスに統合しています。

4. Netflix:

カオスエンジニアリング: Netflix は、システムの復元力をテストするためにカオスエンジニアリングの実践を採用しています。意図的に障害や中断を導入することで、不安定なテストを特定し、テストとシステムの堅牢性を向上させることができます。
自動再試行: Netflix は、CI/CD パイプライン内で自動再試行メカニズムを使用して、断続的に失敗するテストを再実行し、不安定なテストの特定と管理に役立ちます。

5. LinkedIn:

不安定なテスト管理ツール: LinkedIn は、不安定なテストの管理に特化したツールを開発しました。これらのツールは、不安定なテストを追跡し、その発生を可視化し、解決に優先順位を付けるのに役立ちます。
テスト環境の標準化: LinkedIn は、ばらつきを減らし、一貫した条件下でテストが確実に実行されるようにするためのテスト環境の標準化に重点を置いており、不安定性の軽減に役立ちます。