LLM時代のDevOps：プロンプトのバージョン管理からモデルのデプロイまで Tweet
Track C 2025/11/18 14:20-15:00
中級者
CI / CD
スポンサーセッション
LLMがアプリケーションの核となる現代、私たちは「コード」ではなく「言語」をデプロイするようになりました。プロンプトの僅かな修正がサービス全体の品質を左右し、モデルの非決定的な出力は従来のテスト手法を無力化させます。既存のDevOpsのアプローチだけでは、LLMアプリケーションの安定性を保証することは困難です。
本セッションでは、GitLab CI/CDとSpring AIを中心に、Gitを用いたプロンプトのバージョン管理はもちろんのこと、LLMを評価者として活用する「インテリジェント評価」システムをJUnitテストに統合する手法を、具体的なコードを交えて解説します。
Noh Seontaek
株式会社ジール
クラウドマネージドサービスユニット 上席チーフスペシャリスト
大学院で分散オブジェクトコンピューティングを専攻しながら関連論文5つを登載。 主にHadoop、Hiveを利用した大容量データ分析システムを担当。 韓国で約13年間、javaプログラマー、クラウドエンジニア、PM、エンジニアリングマネージャーを担当。 2011年よりAWSに触れながらクラウド環境を活用したシステム構築。 2016年より日本で生活しながらログ分析、ユーザー行動分析のためのサーバー開発およびクラウド環境構築を担当。 現在は北海道の大自然を満喫し、クラウドアーキテクトとしてシステム提案や構築を担当している。