Kubernetesで構築する大規模時系列データのスケーラブルな分散処理 Tweet
Track C 2023/12/11 13:20-14:00
中級者
Storage / Database
我々は社内の監視用メトリクスストレージとしてPrometheus API互換の時系列データベースを内製しています。
現在10億種類以上のmetricsを保存しており、一日2.3TB分ずつ程増え続けています。
これらをスケーラブルかつ低コストに保存・検索するために、オブジェクトストレージを活用して、大規模データを効率よく分散処理するための仕組みを構築しています。
本セッションでは、Kubernetesを活用しどのように省エネかつ効率的な大規模データの分散処理を実現したかに焦点をあてて紹介したいと思います。
Hiroki Sakamoto
LINEヤフー株式会社
Senior Software Engineer
LINEヤフーでPrometheus API互換の時系列データベースの開発チーム所属。
SREとしての活動の中でGrafana LokiやPromtailへのcontributeを経験し、
分散システム及びObservability分野のソフトウェアの開発に興味を持ち始めて現在のチームへ異動。
サイクリングと筋トレ、英語学習が趣味。
好きな動物はモルモット。