Prometheus中心のKubernetes監視、OpenTelemetryに移せますか？
Kubernetesの監視では、Prometheus中心の構成が今も根強く使われています。一方、アプリのトレースやログをOpenTelemetryで送り始めると、クラスターの指標も同じCollectorで集めたくなります。しかし、kube-state-metricsを外してk8s_clusterレシーバーに切り替えると指標名が変わり、既存のアラートは発火しなくなります。このレシーバーをDaemonSetで動かせば、クラスター単位の指標がノード数だけ重複します。
本セッションでは、既存の構成とOpenTelemetry Collectorを並行して動かし、こうした問題を切り替え前に見つける手順を解説します。kubeletstatsレシーバーとの配置の分担や、アラートが参照する指標の対応先も調べます。さらに、k8sattributesプロセッサーでアプリのテレメトリーにPodとNodeの属性を付け、遅いリクエストからそのPodが動くノードの状態をたどれるようにします。
最後に、指標ごとにOpenTelemetryへ移すかPrometheusに残すかの判断基準を示します。
Speaker
Yoshi Yamaguchi
Grafana Labs
Staff Developer Advocate
グラファナラボジャパン合同会社スタッフデベロッパーアドボケイト。Grafana CloudとGrafanaスタックの普及と技術支援を担当し、特にオブザーバビリティ、SRE、DevOpsといった領域を担当。OpenTelemetryやGoのコミュニティの支援も活発に行っている。「OpenTelemetryではじめるテレメトリーサンプリング」執筆、「入門OpenTelemetry」「SREをはじめよう」「効率的なGo」「SLO サービスレベル目標」「オブザーバビリティ・エンジニアリング」翻訳、「SREの探求」監訳をはじめ、技術書の執筆・翻訳に多数関わる。
