研究者体験を損なわないGCS→S3透過キャッシュProxy ─ VLM学習のデータ転送コストを80%削減した話

組織事情によりデータをS3とGCSの双方で保管しており、AWS上で大規模VLM学習を行う際、GCSからのデータ取得にかかるクラウド間転送コストが課題でした。数十TBのデータを繰り返し読み込むため、大きなコストが発生し研究者にとって大規模実験への心理的障壁にもなっていました。
これに対し、prefix不定かつデータ棚卸が必要な組織制約下での柔軟な解としてGCS互換APIを持つProxyを構築しました。研究者のコードは変更不要でリクエストはlocalhost上のProxyがS3キャッシュから返却します。キャッシュミス時のみGCSから取得するため、2回目以降のクラウド間転送は発生しません。各ノードで独立動作しマルチノード分散学習にも対応します。
結果、約$18,000の削減を実現しました。localhost+HTTPの構成により既存の認証フローをそのまま活かしTLS証明書管理も不要です。localhostプロセスとして運用し、現在はk8s Job基盤へサイドカー導入も進めています。
本講演では、技術詳細のみならず個別対応をO(N)からO(1)に変える仕組み化の設計思想についてもお話しします。