コーディングエージェントをEKS上にホストせよ！セキュリティとコストも気にしながらね！

レバレジーズではLLMによって日々開発を加速化していっています。
行き過ぎた加速は退勤後もLLMが勝手に動いてて欲しいとまで思うに至り、社内ではエージェンティックハーネスによって開発・設計・レビュー・QAまで行うコーディングエージェントを開発しました。
しかし、ローカルPC上で動かすにも限界があります。
スケールできない、大量のメモリーを消費して別作業ができない、PCがスリープしたら作業が止まるなどなど。。。

そこで、このコーディングエージェントを社内プラットフォームとして運用しているK8s上にホストし、24時間稼働することを前提にしたアーキテクチャを構築しました。
コーディングに必要なコンテナの権限は最大限与えつつも、エージェントが権限奪取などを行ったときの対策や可視化、スケーリングを考慮したデザインを考えました。

本セッションではコーディングエージェントをEKS上にホストした際の苦労した点や運用のポイントなどを解説します。