Mastering Telemetry Sampling

分散トレースは本番環境の挙動理解に不可欠ですが、トレース量の増加によるストレージコスト、分析ツールの負荷、コレクターのSPOF化といった課題に直面します。解決策としてコレクタープールとテイルベースサンプリングの組み合わせが有効ですが、実は大きな罠があります。テイルサンプリングは全スパン受信後に記録判断するため、コレクタープール環境では同一トレースIDのスパンが同じコレクターに届く必要があります。本セッションでは、OpenTelemetryのloadbalancingエクスポーターとtail_samplingプロセッサーを使った実装デモを通じて、トレースIDベースのルーティング設定、さらにKubernetes環境の場合を例にとって、StatefulSetによるPod名固定、Headless Serviceの活用など、実運用で必要な具体的な設定を解説します。OTLP over gRPCの内部構造に起因する汎用ロードバランサーでの制約についても触れ、本番環境でのオブザーバビリティ基盤構築に役立つ知見を共有します。