KafkaをAWS上で運用する際、データ保持量やピーク負荷に応じたリソース設計は、コストと運用の両面で重要な課題になります。
本セッションでは、Kafkaの基本的な役割を整理したうえで、AutoMQを例にコンピュートとストレージを分離する設計を解説します。従来のブローカー中心の構成と比較し、データの保存先、書き込み経路、スケール時のデータ移動がどう変わるかを説明します。
さらに、AWS上で構成を検討する際のレイテンシー、可用性、ストレージ・ネットワーク費用の確認ポイントを整理します。コスト削減率は構成やワークロードによって異なることを踏まえ、導入前のPoCで何を確認すべきかを共有します。
対象は、Kafkaの導入・運用やクラウドコストの見直しに関わるエンジニア、アーキテクトです。自社の要件に照らしてストレージ分離型の構成を評価するための観点を持ち帰っていただきます。
また、AutoMQが公開している本番環境での導入事例を取り上げ、導入の背景や構成、コスト削減の成果を紹介します。
K・D・Cloud株式会社
代表取締役 / Cloud & Data Platform Engineer
AWSを中心としたクラウド基盤の設計・構築、インフラ自動化、運用改善に携わる。現在はK・D・Cloud株式会社にて、クラウドネイティブ環境におけるデータ基盤、Kafkaを活用したストリーミング処理、Platform Engineeringに取り組んでいる。クラウド環境におけるスケーラビリティ、可用性、運用負荷、コスト最適化を主なテーマとし、従来型アーキテクチャが抱える課題を整理しながら、実運用を見据えたシステム設計・改善や新しいアーキテクチャの活用を進めている。