LLMを「速く」「安く」動かすには Tweet
Track A 2024/11/29 10:00-10:20
初級者
Keynote
初心者にもわかりやすく、ChatGPTをはじめとした近年話題のLLM(Large Language Model)の中身について解説します。また、LLMを大規模に学習するだけではなく、LLMを動かして利用すること（推論）が重要になりつつあることを踏まえ、LLMの推論システムのサービングが難しい理由と、それに対応するための小規模化や量子化などの最近のモデルサイズを減らす工夫についてもお話しします。
Shintarou Okada
株式会社 Preferred Networks
エンジニア
Preferred NetworksでLLMの学習・評価基盤とLLMサービス「PLaMo」
https://plamo.preferredai.jp/ の開発に携わっています。C++が好きです。