Hoyeol Yang氏ら6名による論文は、14種類のLLMを対象に、ウェブ検索、LLMサブエージェントへの委譲、コード実行という3種類のツールから返される情報を意図的に破損させ、エージェントがその不正確な情報をどれだけ最終回答に採用してしまうかを測定しました。
結果、いずれのツールでも平均採用率は3分の1を超え、特にウェブ検索では68.0%に達するなど、エージェントが信頼性の低いツール出力を過度に信頼する「overtrust(過信)」傾向が明らかになりました。エージェントが内部的には矛盾に気づき一度は正しい答えを導き出していながら、最終的には破損した答えのみを提示するケースも確認されています。
プロンプトの工夫、メタデータの付与、ポストトレーニングなど複数の緩和策を試みましたが、いずれもツール横断で一貫してこの過信傾向を軽減できなかったとしています。
出典が伝えている要点
- 論文タイトルは『Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools』である。
- 著者はHoyeol Yang、Woojung Song、Taewon Kim、Jonghyun Song、Seoyeon Park、Yohan Joの6名である。
- 研究では14種類のLLMを評価対象とした。
- 評価対象のツールはウェブ検索、LLMサブエージェントへの委譲、コード実行の3種類である。
- 各ツールが返す情報を意図的に破損させ、エージェントがそれを最終回答に採用するかを測定した。
- いずれのツールでも平均採用率(mean adoption rate)は3分の1を超えた。
- ウェブ検索での平均採用率は68.0%に達した。
- エージェントが矛盾を認識し内部的には正しい答えを回復していながら、最終的には破損した答えのみを提示するケースが確認された。
- プロンプト、メタデータ、ポストトレーニングなど複数のレベルでの緩和策を試みた。
- いずれの緩和策も、ツール横断で一貫してovertrust(過信)を軽減することはできなかった。
原文より
the mean adoption rate exceeds one third for every tool and reaches 68.0% for web search
agents often recognize conflicts and even recover the correct answer internally, yet present only the corrupted answer
none consistently mitigates overtrust across tools
出典: arxiv.org