Kubernetesで実現するData Lakehouse 〜Rancherで支えるIcebergデータ基盤〜

Proposal: (不採択)

中級者   Architecture Design

Hadoopエコシステム(HDFS、Hive、Impala)からData Lakehouseアーキテクチャ(Iceberg、Trino、Spark)への刷新に取り組んでいるリアルな事例と、RancherとRKE2を活用したオンプレミスでのペタバイト級データ基盤構築のポイントを紹介します。

なぜパブリッククラウドを選ばず、ベアメタル環境にこだわったのか?その背景や運用ノウハウを共有し、データ基盤でKubernetesを最大限に活用するヒントを持ち帰っていただけたらと思います。

Yasukazu Nagatomi
株式会社マイクロアド
シニアエンジニア

SIerからキャリアを開始し、プリクラのアプリ開発からデータ基盤の開発の経験を得て、2018年から現職の株式会社マイクロアドにて、データプラットフォーム事業のインフラチームでシニアエンジニアとして主にデータ基盤に関するインフラ基盤の開発・管理をやっています。

プライベートでは、主に以下のコミュニティーのオーガナイザーとして活動しています。
Rancher JP :https://rancherjp.connpass.com/
Open Table Format Study Group Tokyo : https://otfsg-tokyo.connpass.com/