気まぐれLLMのふるまいを暴け！ - OpenLLMetryを通して見る世界 - Tweet

Proposal: (採択)

OpenAI社のChatGPTを代表とし、LLM（大規模言語モデル）を利用したユースケースは数多く存在します。その活用例は、一般コンシューマ向けや企業内部でのユースケースと非常に多岐に渡るため、規模は問わず類似のアプリケーションを開発した経験がある方は多いのではないでしょうか。

LLMは便利なコンポーネントですが、動作が非決定的であり、実行してみないとどのようにふるまうか分かりません。特に、アプリケーションが複雑になると、その動作の予測がさらに難しくなります。そのため、LLMのふるまいを正確に把握するためのオブザーバービリティが重要です。

一般的なアプリケーションのログやトレース、メトリクスを扱う標準としてOpenTelemetryがあり、それをLLM向けに拡張したものがOpenLLMetryです。OpenLLMetryを活用することで、OpenTelemetryの強みを生かしつつ、LLMアプリケーションのオブザーバビリティを向上させることができます。

本セッションでは、LLMアプリケーションにおけるオブザーバビリティの課題と、OpenLLMetryを活用した解決方法を紹介します。さらに、実際のユースケースを交えたデモンストレーションを通じて、OpenLLMetryの導入がどのようにしてLLMアプリケーションの開発や運用効率を向上させるかを実践的にお見せします。