大規模なクラウドECを提供するお客様に対して、新たに自動テストを導入。
テストの自動化を通じて、継続的かつ高頻度でのシステムアップデートにもかかわらず、テストコストを抑えながら非常に安定した品質を実現できるようになった事例についてご紹介します。

お客様の課題

クラウドECは、その性質上サービスが続く限り継続的な機能の改善や追加が必要となります。
そのため、サービスの運営が長期化するにつれてシステム規模が拡大し、アップデート頻度も高まっていく中で品質課題が顕在化してきていました。

また、自動テストの導入前は手動でテストを実施していたものの、テストにかかるコスト・時間が増大してきていたことから自動化を決め、テストの自動化に豊富な実績をもつSHIFT ASIAにご相談を頂きました。

お客様の要件

拡大を続けるクラウドECに対するテスト自動化において、以下のようなご要望・要件を頂きました。

• 既存機能については既にテストケースが存在するため、それらを用いる形で自動テストを設計・実装したい
• 既存のテスト設計書自体を確認（インスペクション）し、テスト品質の評価や、改善をしてほしい
• 新規機能については新たにテストを設計し、マニュアルテストを実施して不具合を修正した後、順次自動化していくというアプローチを取りたい
• 今後も拡大を続ける大規模システムの品質を効率的に安定させるため、自動テストの実行にかかる時間やコストもなるべく抑えたい

SHIFT ASIAの対応と成果

まずは既存機能のテスト自動化にあたり、お客様側で作成されたテスト設計書のインスペクションから着手。既存のテストにおける観点やパターンなどの抜け漏れや誤りなどをチェックし、テスト設計書自体をアップデートすることで網羅性に優れた高品質なテストケースを作成しました。

アップデートされたテスト設計書に基づいてマニュアルテストを実行し、重要な不具合を検出・修正することで品質を保証。
新規機能に関しては、SHIFT ASIAがテストの設計・実行を担当しました。

その後、テスト自動化のスペシャリストによって組織された自動化専門のチームによって、自動化すべき箇所とそうでない箇所を切り分けながら、自動テスト用に新たなテストを設計し順次実装。
コードに変更が加わるたびに自動でテストが実施される状態となり、高頻度のアップデートにおいてもデグレの発生を予防することができています。

さらに、大規模なシステム全体を対象として、重要な機能・フローにおいて不具合が発生しないかどうかを定期的に確認するための自動テストもあわせて実装。
自動でもその実行に長い時間がかかるほどの規模のテストですが、夜間や週末などに実施することでシステム全体の品質を網羅的にチェックすることが可能となりました。

また、一定期間ごとにテストコードに対してリファクタリングを行うことでコードの品質を保ち、実行スピードのさらなる効率化やコードの保守性を継続的に改善しています。

使用ツール・言語など

• CAT（SHIFTが開発・提供する統合型ソフトウェアテスト管理ツール）
• Jenkins
• Selenium
• Allure
• JUnit
• Postman（APIツール）

ソリューションサマリ

• テスト設計
• ドキュメントインスペクション
• テスト実行
• テスト自動化