クラウドネイティブな推論環境によるオープンソースLLMの実用性検証 Tweet
Track A 2025/11/18 11:20-11:40
中級者
Application / Development
スポンサーセッション
オープンソースのLLMがどこまで使えるか──比較的小さな8B級モデルを用いて、MCP(Tool Calling)の実用性を検証します。クラウドネイティブの利点を活かして、PodmanとvLLM、Llama Stackで、同一コンテナイメージによる個人PC開発から推論環境のチーム共有まで地続きで構築/運用するアーキテクチャを探求します。
Akinori Kohno
レッドハット株式会社
アーキテクト
2003年にエンジニアとしてキャリアを開始し、2014年より現職。金融・通信・製造業界の大規模組織に対し、OpenShift (Red Hat版商用Kubernetes) をベースにレガシーシステムと人の関係性を再定義し、組織のアジリティ向上を支援してきた。
近年はMCPに対する認証・認可のPoCを推進。これまでのエンタープライズでの経験をAI活用にどう活かせるか、日々模索を続けている。
好物はスープカレーで、休日は3人の子供と近所の公園で遊んでいる。