エージェント的コーディングにおいて、ベンダーが自社モデル向けに最適化した「ハーネス」（ツール・プロンプト・制御フロー）が汎用的なハーネスより本当に性能が高いのかを検証した論文です。汚染を制御した256個のプライベートなリポジトリ/コンテストタスクを用い、Claude Opus 4.8とGPT-5.5について、それぞれベンダー製と汎用のハーネス（claude-agent-sdk/deepagents、openai-codex SDK/deepagents）を比較しました。
結果、Claude Opus 4.8では性能差-1.25ポイント（95%信頼区間[-10.0, +7.5]）、GPT-5.5では+1.25ポイント（95%信頼区間[-4.4, +6.9]）と、いずれも有意な性能差は見られませんでした。一方でコスト面では、汎用ハーネスがOpus 4.8で1.3〜1.6倍、GPT-5.5で1.2倍高コストになる傾向が観測されていますが、この差にはテレメトリの補正に起因する不確実性が残っているとのことです。
出典が伝えている要点
- この研究は、ベンダー製ハーネスと汎用ハーネスの性能差("harness effect")を分離測定することを目的としている。
- 実験には汚染を制御した256個のリポジトリタスクおよびコンテストタスクからなるプライベートなテストスイートが使われた。
- 比較対象のモデルはClaude Opus 4.8とGPT-5.5である。
- Claude Opus 4.8についてはclaude-agent-sdkとdeepagentsという2種類のハーネスが比較された。
- GPT-5.5についてはopenai-codex SDKとdeepagentsという2種類のハーネスが比較された。
- Gemini 3.5-flashとDeepSeek v3.2も補助的な検証対象として使われた。
- 計画された800回の実行のうち792回が採点された。
- Claude Opus 4.8ではハーネス間の性能差は-1.25パーセンテージポイントで、95%信頼区間は[-10.0, +7.5]であり、有意差はなかった。
- GPT-5.5ではハーネス間の性能差は+1.25パーセンテージポイントで、95%信頼区間は[-4.4, +6.9]であり、有意差はなかった。
- リポジトリタスクとコンテストタスクの間で対照的な結果が観察され、著者はさらなる検証が必要だとしている。
- コスト面では、中立的(汎用的)なハーネスがOpus 4.8で1.3〜1.6倍、GPT-5.5で1.2倍高コストになるという観測結果が得られた。
- このコスト差についてはテレメトリの補正に起因する不確実性が残っていると記述されている。