初心者にもわかりやすく、ChatGPTをはじめとした近年話題のLLM(Large Language Model)の中身について解説します。また、LLMを大規模に学習するだけではなく、LLMを動かして利用すること(推論)が重要になりつつあることを踏まえ、LLMの推論システムのサービングが難しい理由と、それに対応するための小規模化や量子化などの最近のモデルデータサイズを減らす工夫についてもお話しします。
Preferred NetworksでLLMの学習・評価基盤とLLMサービス「PLaMo」 https://plamo.preferredai.jp/ の開発に携わっています。C++が好きです。
本セッションでは GA が近づいている Kubernetes の新機能の「User
生成AI・LLMをDevOpsに活かすことと生成AIを監視して提供品質やセキュリテ
発売1ヶ月で総プレイヤー数2500万人を記録したパルワールドのインフラは、クラウド
仮想マシンで動く既存アプリケーションを、どのようにクラウドネイティブ化するか迷って