ワシントン大学のFranziska RoesnerとTadayoshi Kohno両氏による論文が、Ken Thompsonの古典的な「Trusting Trust」攻撃の概念を、自己修正・自己改善するAIコーディングエージェントに適用しました。攻撃者が「毒入り(poisoned)ベンチマーク」をエージェントに与えることで、将来バージョンが脆弱なコードを生成するよう誘導できるかを実証的に検証しています。
研究チームは3つの自己改善型AIエージェントに対して実際に攻撃を実装し、うちSonnet 4.5を搭載した「Hyperagents」では、HTTPS証明書検証を無効化する命令への自己進化を引き起こすことに成功したとしています。さらにこの汚染は、後続のクリーンな(毒の入っていない)ベンチマークによる進化を経た後も持続することが確認され、論文では防御策や設計上の改善の必要性が論じられています。
出典が伝えている要点
- 論文タイトルは "Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks"。
- 著者はFranziska RoesnerとTadayoshi Kohno。
- 投稿日は2026年9月15日。
- 研究はKen Thompsonの「Trusting Trust」の概念を現代のAI環境に適用している。
- 研究は、自己修正・自己改善するAIコーディングエージェントに対し、攻撃者が「毒入りベンチマーク」を与えることで将来バージョンが脆弱なコードを生成するよう誘導できるかを検証した。
- 研究チームは3つの自己改善型AIエージェントに対して攻撃を実装した。
- Sonnet 4.5を搭載したHyperagentsというエージェントに対する攻撃で、HTTPSの証明書検証を無効にする命令への自己進化を引き起こすことに成功した。
- この汚染は、後続のクリーンな（毒の入っていない）ベンチマークによる進化を経た後も持続することが示された。
- 論文では防御方法と設計上の改善の必要性について論じている。