LLMエージェントの回答検証を強化：情報源を意識したファクトチェック技術「ProvenanceGuard」を発表

近年、ツールを使用する大規模言語モデル（LLM）エージェントは、単一の文書から情報を読み取るのではなく、検索ツール、構造化された記録、データベースの照会など、複数の情報源（Model Context Protocol: MCP）から情報を統合して回答を生成しています。

この複雑な情報統合により、従来の「事実性（factuality）」の検証方法では不十分な状況が生じています。

既存の検証システム（RAGASのfaithfulnessなど）の多くは、収集された証拠全体が特定の主張を裏付けているか否かのみを評価します。

しかし、これらのシステムは、どのMCPツールの出力がどの主張を裏付けているのか、あるいは回答が言及している情報源と実際に裏付けている情報源が一致しているのかを区別できません。

本研究で提案された「ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents」は、このギャップを埋めることを目的としています。

特に問題とするのは「クロスソースの混同（cross-source conflation）」という失敗モードです。

これは、ある主張が証拠のどこかに真実として存在しているものの、回答が誤った情報源に帰属させてしまうケースを指します。

例えば、顧客サポートエージェントが「アカウント記録によると、このプランには30日間の返金期間が含まれます」と回答した場合、その返金期間が実際にはポリシー文書に記載されており、アカウント記録ではない場合、従来の検証では「証拠があるため正しい」と判断されてしまいますが、ProvenanceGuardは「回答が指す情報源と、実際にその事実を裏付けている情報源が一致しているか」を個別に検証します。

ProvenanceGuardは、ブラックボックス化されたMCPエージェントの生成後に動作する検証レイヤーとして機能します。

これにより、回答が持つ「来歴（provenance）」、すなわち主張と情報源とのつながりを維持し、単なる事実の有無だけでなく、その情報がどこから来たのかという正確な帰属を保証することが可能になります。