マニュアルテストと自動テストを組み合わせ、持続的かつ効率的な品質保証体制を構築

EC事業者向けに、充実したオールインワンのECサイトプラットフォームサービスを提供されているお客様に対して行った、マニュアルテストと自動テストを組み合わせて持続的かつ効率的な品質保証体制を構築した事例についてご紹介します。

お客様の課題

同社では、EC事業者・ショッピングユーザーの多様化するニーズに対応するため、日々ECプラットフォームに対して既存機能の改善や新機能の開発を行っていました。
開発が進むにつれてシステムの規模や複雑性が増し、それとともにテストの範囲・工数も増大を続け、品質の低下が見られ始めていました。
次第に社内のエンジニアだけではテストに対応しきれない状態になりつつあり、また同時にテストにかかるコストを抑えたまま品質を担保する必要もあったことから、同社ではソフトウェアテストの外注およびテスト自動化の導入を決定。

しかし社内に有識者や経験者がいなかったため、テスト自動化の専門的な知見や豊富な実績を持つSHIFT ASIAにご相談を頂きました。

お客様の要件

お客様が自社のシステムに対するソフトウェアテストおよびテスト自動化を外注するにあたり、以下のような要望や要件を挙げていました。

ECゆえに決済が関係し、またお客様のビジネスにおいて根幹となるシステムのため、極めて高い品質を保証できるだけのソフトウェアテストを実施したい
拡大を続けるシステムに対して、テストに要するコストや時間を抑えるために、極力効率的にテストを実施したい
ユーザーニーズに迅速に対応するため、高い頻度でかなりの規模のバージョンアップを行っていることから、広範囲のデグレを自動検出するためリグレッションテストを自動化したい
仕様書の時点で誤りや抜け漏れ（仕様バグ）が含まれていることもあるため、仕様書のレビューもしてほしい
開発の状況やテストの分量に合わせて、時期に応じて柔軟にテストエンジニアの人数を調整したい
コミュニケーションの精度やスピードを上げるため、日本人を通さず日本語で直接コミュニケーションできるテストエンジニアをアサインしたい

SHIFT ASIAの対応と成果

マニュアルテストと自動化テストを組み合わせ、リリース前に各画面・機能に対する単体・結合・システムテストをマニュアルで実施し、不具合の検出および修正を通じて一通りの不具合を修正。
その後にテスト設計の際に作成したテスト設計書をもとにテスト自動化を行い、マニュアルテストで実施したテストが逐一自動で行われるようにしていくことで段階的な品質の積み上げを行いました。
以降はデプロイのタイミングで自動テストが実行されるため、広範囲でデグレが自動検知される状態となり、拡大を続けるシステムに対してテストのコストは抑えた状態で品質を保証できる仕組みが構築されています。

マニュアルテストに関しては、新たに追加される機能・画面に対してSHIFTのテスト設計メソッドを適用し、非属人的かつ網羅性の高いテストを実施しており、SHIFT ASIAがテストをした範囲ではリリース後にほぼ不具合が出ていないという評価を頂いています。

体制面では、テストエンジニアには日本語能力が高く、かつ仕様書のレビューおよびインスペクションが可能なハイスキルなテストエンジニアをアサインしており、直接お客様側の担当者とSHIFT ASIA側のテストエンジニアがやりとりをしているため、スピード感をもったプロジェクト進行が可能に。
また、繁忙期に対応できるよう増員可能なテストエンジニアを常に育成・確保しておくことで、突発的な増員の要望にもお応えすることができています。
結果として、必要なときに必要な規模の人的リソースを供給することができ、お客様のコスト効率の向上にもつながっています。