OpenTelemetryのトレース駆動で支える！電子カルテのLLM機能をPoCから本番へ

電子カルテHenryのAI機能をPoCから本番運用に載せるまでの奮闘記となります。鍵はObservability-Driven Developmentでした。PoC期にOpenTelemetryのトレースやダッシュボードを作り、Bizと共に現場訪問を重ねてソフト面とハード面の両方でLLM機能を可観測にしました。OpenTelemetryのトレースをLLM機能開発にフル活用して本番適用した事例となります。

・非同期ジョブ境界で切れたトレースを繋いでLM呼び出しのボトルネックを検知
・「要約が遅い」等の問題をTraceから分析しビジネスジャッジに反映
・軽量モデルで10秒→2秒にした時の品質退行を検証段階で検知、以後Golden Dataset＋LLM-as-judgeで守る

持ち帰り:
・LLM spanの属性セットと問題分析
・通常APIとLLMで監視基準を分ける設計
・個人情報をテレメトリに載せない工夫
・Cloud Run＋Vertex AI構成による汎用AI基盤の構成

対象:
LLM機能を本番運用・導入するバックエンド・SRE・基盤エンジニア