HolmesGPT、Langfuseで実現するLLM時代のスケーラブルなプラットフォームと可視化

私はレバレジーズ内でプラットフォームSREとして日々社内でプラットフォームの開発とメンテナンス・運用をしています。
去年まではいかにして社内のアプリたちをK8sプラットフォームに移行させて、可視化の工場やコスト削減が出来るかに注力していましたが、やはりすでに動いてる本番アプリの基盤を移行させるのは至難の業で、心理的な壁も高かったのがありました。
しかし、今年に入ってからは社内でもAI駆動でエージェントを多く作るようになり、迅速にエージェントをデプロイ出来て監視もできる社内プラットフォームへの需要が急増していきました。

ホームズGPTというSREエージェントで、デプロイしたエージェントやアプリの障害を即座に分析し、簡単な修正ならエージェントにそのままPRまで作らせます。
Langfuseでのエージェント可視化も社内では標準化してきており、エージェントのプロンプト管理やトレーシングも行っています。
このセッションではこれらツールの導入とプラットフォームとのシナジーを説明し、エージェント運用にいかに活用しているかを解説します。