Amazon Bedrock を "使える基盤" にするための勘所

ウォンテッドリーでは Amazon Bedrock を全社の LLM 基盤として整備しているが、「Bedrock を有効化してアプリケーションから呼べるようにする」だけでは基盤にはならない。複数プロダクトが同時に AI 機能を開発する中で、quota 管理とコスト可視化という 2 つの課題に直面した。

quota 管理では、プロダクト開発者が quota を意識せずモデルを呼び出せる状態を目指した。しかしリージョンごとの quota 制限により単一リージョンでは耐えられなくなり、複数リージョンへのフォールバック戦略を取った。この実装がアプリケーションごとに分断される問題が生じたため、インフラチームが管理するライブラリとして共通化した。

コスト可視化では、開発者が自由にモデルを呼び出せる以上、プロダクトごとの監視が不可欠になる。AWS タグによる分類と Datadog APM のスパン手動計装の 2 つを併用しており、それぞれの特性と使い分けを紹介する。

LLM 基盤を社内に構築・運用する SRE やプラットフォームエンジニアに向けて、各課題で検討した選択肢と判断基準を共有する。