Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
我々は社内の監視用メトリクスストレージとしてPrometheus API互換の時系列データベースを内製しています。 現在10億種類以上のmetricsを保存しており、一日2.3TB分ずつ程増え続けています。 これらをスケーラブルかつ低コストに保存・検索するために、オブジェクトストレージを活用して、大規模データを効率よく分散処理するための仕組みを構築しています。 本セッションでは、Kubernetesを活用しどのように省エネかつ効率的な大規模データの分散処理を実現したかに焦点をあてて紹介したいと思います。
Hiroki Sakamoto
登壇者プロフィール
Hiroki Sakamoto
LINEヤフー株式会社
Senior Software Engineer
LINEヤフーでPrometheus API互換の時系列データベースの開発チーム所属。 SREとしての活動の中でGrafana LokiやPromtailへのcontributeを経験し、 分散システム及びObservability分野のソフトウェアの開発に興味を持ち始めて現在のチームへ異動。 サイクリングと筋トレ、英語学習が趣味。 好きな動物はモルモット。