100+ クラスタをよりマネージドに！システムコンポーネントの外部化への挑戦

サイバーエージェントで開発・運用している Kubernetes as a Service「AKE」 では、仕組みの異なる複数のプライベートクラウド上で透過的に Kubernetes クラスタを利用できるようにしており、そのクラスタ数は合わせて 100 クラスタ規模になります。各クラスタには、Cloud Controller Manager や Ingress Controller など、クラスタにとって重要なシステムコンポーネントが存在しますが、利用者のワークロードの影響を受けやすく、問題の切り分けに難航したり、利用者にスケールアウトをお願いする場面がありました。
そこで、これらのシステムコンポーネントを管理クラスタ側で稼働させ、可用性を高めつつ、利用者がより多くのリソースを使えるようにしました。移設はユーザーのアップデート操作で実行されるため、大規模メンテナンスなしに行うことができます。
本セッションでは、マルチリージョン構成におけるコンポーネントの配置やクラスタ間のリソース同期の仕組み、VPA によるリソース割り当ての効率化など、移設に必要だった技術的要素を解説します。