Gateway APIで構築した推論基盤におけるintelligentなモデルルーティング

SB Intuitions株式会社ではオンプレ環境のk8sクラスタで複数のLLMを社内向け推論基盤として提供しています。

chat用途で広く使われるOpenAI互換APIでは、呼び出すモデル名がjsonのrequest bodyに含まれるためpathやHost名によるWebアプリケーションのルーティングはそのままでは使えません。私たちはGateway API Inference Extension(実装はagentgateway)およびllm-dを組み合わせ、リクエスト内のモデル名に基づいて転送先を決めています。
さらにvLLM Semantic Routerを用いて内容に応じてこのモデル名を動的に書き換え、翻訳や校正を日本語に特化した内製の小型モデルへ振り分けることで、大規模な汎用モデルへのリクエストを減らしています。

本講演では、このモデル名がどこで読まれ、書き換えられ、転送先の決定に使われるかを追いながら各コンポーネントの役割を解説し、k8sでWebアプリケーションを運用しているエンジニアがLLMのサービング環境を構築するための知見を共有します