KEDA ベースのスケーラブルなエージェント向けサンドボックス基盤の設計と、運用が照らすスケジューリング責務の分界点

エージェントのハーネスは、モデルと並びその性能を左右する重要な要素です。サンドボックスもハーネスの一つであり、そのスケーラビリティはエージェントのそれに直結します。

本セッションでは、AI エージェント構築プラットフォーム AI Worker のサンドボックス基盤の開発・運用で得た知見をもとに、ScaledJob やバルーン Pod など KEDA を利用した迅速なスケーリングを実現するノウハウを紹介します。

また、10k pods/h の Pod の入れ替わりが激しいワークロードでの Cilium の policy map 溢れや、Envoy Proxy の TCP MSS 設定を例に、信頼性を高める工夫も説明します。

この経験から、ノード確保コストを抑えつつほぼ 1 秒以下の起動速度を保つには、スケジューリングのどのレイヤーを K8s / KEDA に任せるか責任分界点を設け、サンドボックスはアプリケーションレイヤーで独自にスケジューリングすべきであると判ってきました。

マルチテナント、任意コード実行の隔離、KEDA を本番で扱う方向けのセッションです。