機械学習のモデル開発では2種類のテストがあります。プログラム自体のユニットテストと、機械学習モデルの評価としてのテストです。前者はコーディングの妥当性やカバレッジでレビューできますが、後者はコーディングのみで評価することができません。
本セッションでは両方のテストをGithub Actionsで実行し、プログラムの正常性と機械学習モデル開発の妥当性を評価する仕組みを説明します。機械学習のテストのためにはモデルを評価するデータの管理が必要であり、そのツールとしてDVCというOSSを使います。評価自体にはCMLというOSSを使い、Github Actionsの中で機械学習モデルを実行し、DVCから得たデータで評価した結果をPRと連携します。
機械学習のモデル開発に伴うデータ管理や評価をGitFlowとして管理し、機械学習開発の品質向上を目指します。