Workspace Snapshot Publishing: 600GB・230万ファイルをPodに配るアプローチ

大規模ゲーム開発ではTB級の巨大リポジトリが珍しくありません。我々はWorkspace Snapshot Publishing (WSP)というアプローチにより、600GB・230万ファイルを含むワークスペース転送・同期の反復を、1回あたり411秒から最速1秒まで短縮しました。
https://www.docswell.com/s/yaegashi/5X2QXN-kernelvm-19
本セッションではWindows中心であったWSPをLinux/K8sに拡張する技術と実装について解説します。具体的にはDevice Mapperによるディスクイメージ直接マウント、K8sノードにマウントしたCAS配布ワークスペースのライフサイクル管理、PV/PVCを提供するCSIの実装が含まれます。
開発者はCASのワークスペース所在・バージョンを示すPVCを作るだけで、それをマウントしたPodを起動し、K8sによる並列化ワークロードを短時間に開始できます。数十の構成別ビルドやアセット形式変換、数百の並列AIエージェントタスクや推論ノードへのモデル配布、Wine上のUEビルドなどが想定ユースケースです。