エントリー済み
AIエージェントの「テストは通るのに本番で壊れる」を減らす ― 過程・環境・時間を測る評価手法
中級者
CI / CD
AIエージェントを本番に出すと、「テストは高評価なのに本番ではうまくいかない」「テストは通るのに実利用と乖離している」「『確認しました』と報告するが実際は何もしていない」といった、結果出力だけを見る評価では捉えられない不確実性に直面します。
本セッションでは、模範解答との一致に偏りがちな評価を「過程・環境・評価者・時間」の4軸に広げ、エージェントの評価手法を紹介します。
・ツール呼び出しログへの時相論理アサーション（削除前にバックアップ等）と無駄な手順の検出
・Predictive Test Selectionと途中状態からの分岐再実行による、遅く高いテストの削減
・LLM-as-Judgeに「主張ではなく証拠」を判定させる設計とHuman-in-the-loop
・テスト自体の陳腐化（模擬と実環境のズレ、モデル更新等）の定量的な検知
こうした課題に対し、AIエージェント開発をDevOpsするためのテスト・評価手法について、失敗例を含めて共有します。
Speaker
Yusuke Shibui
Snowflake
Senior AI/ML Architect, Applied Field Engineering/Field CTO
AI、MLOps、データ、インフラ、バックエンド、リサーチエンジニア、テックセールス、ネコ2匹の飼い主。本業では機械学習やAIエージェントの実用化を中心に活動しています。著書『機械学習システムデザインパターン』、『機械学習システム構築実践ガイド』、『LLM・AIエージェントシステムベストプラクティス』、共著『事例でわかるMLOps』。
登壇内容は私個人の意見であり、所属団体を代表するものでもございません。
