生成AI・RAG
根拠がある回答でも、質問に答えているとは限らない
社内手順書を参照する、会話履歴を使わない単発の質問応答機能を設計しています。参照文書には『ログは90日保持する。バックアップは30日保持する』とあります。『ログの保持期間は?』という質問に、モデルが『バックアップは30日保持します』と回答しました。Bedrock Guardrailsのcontextual grounding checkで、この回答を見直す際の適切な判断はどれですか。
解答・全選択肢の理由を読む
正解:B
A:選ばない
参照文書にある事実を述べることと、質問への回答になっていることは別です。ログの保持期間を答えていません。
B:選ぶ
groundingは参照源との整合性、relevanceは質問との関連性を評価します。この例では、文書の一部を正しく述べても質問への回答になっていません。
C:選ばない
根拠のない情報と、根拠はあるが質問に答えていない情報を分けて扱う必要があります。groundingだけで関連性の評価を置き換えられません。
D:選ばない
contextual grounding checkには参照源・質問・評価する回答が必要です。入力だけでは、生成された回答の整合性と関連性を検査できません。
次の設計に持ち帰ること:RAGの評価では『どの文書に基づくか』と『何を聞かれたか』を分けます。閾値は自分の評価データで調整し、すべての誤りを除けるとは扱いません。