1,000基以上のGPUをSlurmで運用する私たちは、なぜKubernetesへの移行に踏み込めないのか？

私たちは、自動運転AIの開発を支える4つのSlurmクラスタ（AWS/GCP/GMOクラウド/オンプレ）で、1,000基以上のGPUを4名で運用し、基盤拡大も計画しています。約2年前、Slurmに習熟した運用者1名で立ち上げ、当初は学習中心でした。その後、MLエンジニアは数倍に増え、モデルの性能評価やCPUでのデータ管理へ用途が拡大。sbatchとシェルスクリプトによる個別対応の保守・継続開発が課題です。k8sへの移行・併用は議論していますが、本格的な取り組みには至っていません。マルチノード学習の資源確保、プリエンプション、中断後の再開、利用者の開発体験や運用手順をどう引き継ぐかが課題です。加えて、チームにk8sの習熟者がおらず、運用や基盤拡大の中で、検証に割ける時間・体制も限られています。本セッションでは、k8sエンジニアに向けてSlurmの学習・周辺運用を具体例とともに紹介します。発表に向けて移行判断の論点を整理し、優先度の高い項目から小規模な検証を行う予定です。確認できたことと未確認の条件を示し、技術とチームの両面から、移行に踏み込めない理由とk8s側に求める要件を共有します。