OpenTelemetry による生成 AI アプリケーションのモニタリング Tweet

Proposal: (不採択)

OpenTelemetry はアプリケーションのトレース・ログ・メトリクスを統一的に収集するためのプロトコル・ツール群です。昨今ではアプリケーションのパフォーマンスや動作を可視化するために OpenTelemetry が採用されることが多くなってきました。

また、昨今では生成 AI を用いたアプリケーション開発が活発になっています。生成 AI を用いたアプリケーションは従来のアプリケーションと比べて動作やコスト影響といった点で不確実性が高く、その振る舞いをどのようにモニタリングするかといった取り組みが重要となってきます。

このセッションでは、OpenTelemetry の概要について紹介し、現在 OpenTelemetry プロジェクトで取り組まれている生成 AI アプリケーションのモニタリングの仕組みについて紹介します。また、Python による簡易的なデモアプリケーションの実装内容とその動作についても紹介します。