AIエージェントが長時間タスクを実行した際に生じる大量の実行ログから失敗の根本原因を診断する「Root-Cause Attribution (RCA)」について、既存のLLMベース手法は実行トレースが長くなるほど診断精度が低下するという課題があります。関連情報がトレース全体に疎に分散しているため、根本原因の特定が大規模な探索問題になっている、と10名の著者らは分析しています。既存手法は一発勝負(one-shot)のLLM判断に依存しており、長いトレースでは判定者が早期に「もっともらしい診断」に落ち着き、重要な証拠を見逃してしまいます。
著者らはこれに対し、複数ターンにわたり判定者に未解決の診断証拠を探し続けるよう促す反復的フレームワーク「Continual Search」を提案。既存の4つのRCAベンチマークに加え、大規模実行トレースの評価が不足している現状を踏まえて50件の人手注釈付き失敗事例からなる新ベンチマーク「MegaRCA-Mix」を構築しました。
評価の結果、Continual SearchはMegaRCA-MixにおいてGPT-5.5のF1スコアを0.349から0.498へと40%以上改善しました。同一モデルファミリー内で、下位ティアのモデルがContinual Search適用時に上位ティアモデルを上回るケースもあり、効果的な探索がモデルの規模を上回る効果を持つことを示しています。
出典が伝えている要点
- 論文のタイトルは「Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures」である
- 著者は Harsh Raj、David Lee、Anas Mahmoud、Renxiong Wang、Razvan-Gabriel Dumitru、Chenguang Wang、Tong Zhao、Yunzhong He、Darvin Yi、Vipul Gupta の10名である
- 既存の自動RCA手法はLLMを用いた一発勝負(one-shot)の判断に依存している
- 既存手法は実行トレースが長くなるほど診断精度が低下する
- 既存の判定者(judge)は長いトレースでは早期に「もっともらしい診断」に落ち着き、重要な証拠を見逃す傾向がある
- 著者らは「Continual Search」という反復的フレームワークを提案した
- Continual Searchは複数ターンにわたり判定者に未解決の診断証拠を探索し続けるよう促す仕組みである
- 著者らは既存の4つのRCAベンチマークでContinual Searchを評価した
- 著者らは大規模実行トレースを評価するための新ベンチマーク「MegaRCA-Mix」を新たに構築した
- MegaRCA-Mixは50件の人手注釈付き失敗事例(長期実行タスク)から構成される
- MegaRCA-MixにおいてContinual SearchはGPT-5.5のF1スコアを0.349から0.498に改善した(40%以上の改善)
- 同一モデルファミリー内で、下位ティアのモデルがContinual Search適用時に上位ティアモデルを上回るケースがあった
原文より
Root-cause attribution is a search problem.
effective search supersedes raw model scale
出典: arxiv.org