LLMアプリの不確実性を追うためのOTel Collector/OTLP：実例に基づく加工・設計・課題

最近ではLLMアプリの不確実性や動作把握の困難性からトレースが脚光を浴び、多くのFW/基盤が対応してます
ゆえに、LLMアプリではトレースは「あると便利」から「ないと挙動を把握できない」に変化してます
しかし導入すると次のような問題が起こりがちです
・手頃なSDKを導入して依存関係のある基盤に送る
・自動計装で観測したいLLM部分以外も大量送信されノイズに
このように上手く扱えない悲しい結果になります
本発表では、
・先述したトレースの需要がなぜ増すかの話
・SDKによる直送とOtelコレクターを介した送信の比較と採用した方の理由
・なぜコレクターを使うとよいのか、トレース収集基盤側のOTLP対応
・コレクターが担当する加工や振分け、GenAI仕様、開発・本番環境での送信先切替等実際の内容を元に解説
・課題感（Tail-Based Samplingや活用法など）
等を話します
持ち帰れる物
・SDKvsOtelコレクターの判断基準（トレースの選別やネィティブ機能対応など）
・実際にどう使ってるか
・実際に使った上での課題感
対象者
・LLMアプリの監視にOtelコレクターを活用したい人