OSSを駆使したパブリックGPUクラウドの実装と実態 Tweet

Proposal: (不採択)

FPTではベトナムでNVIDIA GPUを使ったパブリッククラウドも提供しています。さらに今年の4月に日本でもリージョンを立ち上げ、NVIDIA H200のクラウドサービスを開始します。これらのクラウドはOpenStack・KubernetesをはじめとしたCloud Native OSSのコミュニティ版を駆使して構築されています。
OpenStackの話もしたいところですが、本セッションではGPUクラウドにフォーカスを当てます。ベアメタル・VM・コンテナのそれぞれでのGPU割り当ての実装、学習や推論といったワークロードの性能・電力の最適化などのチューニングや運用でのトラブルなどをお話します。また年々新しいGPUがリリースされる中、AIアプリやLLMの開発側としてどう対応するべきか、プラットフォームエンジニアとして今後どのような技術と経験をしていくべきかを私自身のキャリアを振り返りつつ考察します。オンプレGPU基盤を構築運用する方だけでなく、エンジニアの方々にとって有益なセッションにしようと思っています。