Hadoopエコシステム(HDFS、Hive、Impala)からData Lakehouseアーキテクチャ(Iceberg、Trino、Spark)への刷新に取り組んでいるリアルな事例と、RancherとRKE2を活用したオンプレミスでのペタバイト級データ基盤構築のポイントを紹介します。
なぜパブリッククラウドを選ばず、ベアメタル環境にこだわったのか?その背景や運用ノウハウを共有し、データ基盤でKubernetesを最大限に活用するヒントを持ち帰っていただけたらと思います。
SIerからキャリアを開始し、プリクラのアプリ開発からデータ基盤の開発の経験を得て、2018年から現職の株式会社マイクロアドにて、データプラットフォーム事業のインフラチームでシニアエンジニアとして主にデータ基盤に関するインフラ基盤の開発・管理をやっています。
プライベートでは、主に以下のコミュニティーのオーガナイザーとして活動しています。
Rancher JP :https://rancherjp.connpass.com/
Open Table Format Study Group Tokyo : https://otfsg-tokyo.connpass.com/