Kubernetesを用いたAI基盤構築レシピ Tweet
Proposal: (エントリー済み)
中級者
Architecture Design
近年、生成AIをはじめとしたAI技術の進化と社会的なインパクトは目覚ましく、研究からビジネスまで幅広い分野で導入が急速に進んでいます。その盛り上がりとともに、AIを効率的かつスケーラブルに運用するための基盤としてKubernetesが注目を集めています。
本セッションでは、Fine Tuning及びモデルのServingに焦点を当てて、Kubernetes上でAI基盤を構築する際に必要となる主要なツール群と設計上の考慮点を整理し、現場で直面しやすい課題やその解決アプローチを解説します。これからAI基盤の構築を検討している方や、既存のKubernetes環境にてAIワークロードを扱っている方にとって実践的なヒントとなる内容をお届けします。
以下のような技術スタックを紹介予定です。
Kubernetes・GPU Operator・Kubeflow・Kueue・KServe, etc...
Ryotaro Uwatsu
デル・テクノロジーズ株式会社
Senior Solution Architect
2018年に新卒として入社以降、サーバーやストレージの自動化、Kubernetes等を用いたクラウドネイティブな技術の支援を行っている。最近は、KubernetesやSlurmを用いたオンプレミスでのAI基盤の設計・構築に従事。
Kubernetes Meetup Noviceを2020年に立ち上げ、運営をしている。