LLMがアプリケーションの核となる現代、私たちは「コード」ではなく「言語」をデプロイするようになりました。プロンプトの僅かな修正がサービス全体の品質を左右し、モデルの非決定的な出力は従来のテスト手法を無力化させます。既存のDevOpsのアプローチだけでは、LLMアプリケーションの安定性を保証することは困難です。
本セッションでは、GitLab CI/CDとSpring AIを中心に、Gitを用いたプロンプトのバージョン管理はもちろんのこと、LLMを評価者として活用する「インテリジェント評価」システムをJUnitテストに統合する手法を、具体的なコードを交えて解説します。