生成AI＋RAGでは合格点に届かなかった ― Amazon Connect×Bedrock音声AIを決定論で制御する

自治体の転入手続きを案内する音声AIを、Amazon Connect・Lex・Lambda・Bedrockで構築し、実証実験に臨みました。
公開の条件は「回答の正答率95%超え」。これを満たさなければ、実証実験であっても住民には公開できません。
最初は「生成AI＋RAG」で組みましたが、精度もレスポンスもこの基準に届きませんでした。厳密な条件分岐で案内を取り違え、電話では耐えがたい無音が5〜6秒続く。生成AIに任せるほど、品質はコントロールできなくなりました。
そこから私たちは、生成AIに「何を任せ、何を任せないか」を問い直し、基準を満たすまで設計を組み直しました。
本セッションでは、その過程で直面した問いに、実際の失敗と改善の数値でお答えします。
・電話の応答速度と正確さを両立するには、どこまでフローやプログラムで決定論的に持つべきか
・RAGは本当に必要か。業務知識はどこに持たせるべきか
・誤った回答を出さないために、何を生成AIの外に出したか
生成AIをサービスに組み込むアプリ/インフラエンジニア、SREの方へ。「生成AIに任せる範囲」を決める判断基準を持ち帰っていただけます。