Specific Labsが発表した新ベンチマーク「Real-SWE」は、従来のSWEベンチ等と異なり、公開されていない実企業の非公開コードベース上で、請求計算・税務処理・顧客移行など実際にビジネス影響のあるタスクをAIコーディングエージェントに解かせて評価するものです。企業固有のコーディング規約への適応性も評価対象に含まれています。
8種類のモデル・ハーネスの組み合わせをそれぞれ8回試行した結果、最上位はFable 5.1（Claude Code）で解決率38.8％（コスト$6.96）、2位はGPT-6 Astra（Codex CLI）で33.8％（$4.67）、3位はGemini 3.8 Flash（Gemini CLI）で31.2％（$2.50）、最下位はGPT-5.6 Solで16.2％（$2.65）でした。
失敗パターンとしては要件見落としが最も多く、ほかに未検証の仮定、統合エラー、回帰、ファイル誤配置が挙げられています。紹介されている「税請求修正」タスクの例では、中央値11ファイルの編集とTaxJar・InfluxDBなど外部サービス連携が必要とされました。
出典が伝えている要点
- Real-SWEはSpecific Labsが発表したベンチマークである
- Real-SWEは非公開の実企業コードベース上でAIモデルを評価する
- 評価対象タスクには請求計算・税務処理・顧客移行などビジネス影響のある実務が含まれる
- 評価は企業固有のコーディング規約への適応性も含む
- 8つのAIモデル・ハーネスの組み合わせが評価された
- 各モデルは8回ずつ試行された
- Fable 5.1(Claude Code)の解決率は38.8%、コストは$6.96で1位
- GPT-6 Astra(Codex CLI)の解決率は33.8%、コストは$4.67で2位
- Gemini 3.8 Flash(Gemini CLI)の解決率は31.2%、コストは$2.50で3位
- GPT-5.6 Solの解決率は16.2%、コストは$2.65で最下位
- 失敗パターンとして要件見落とし・未検証の仮定・統合エラー・回帰・ファイル誤配置が挙げられている
- 記事内で紹介された「税請求修正」タスク例では中央値11ファイルの編集とTaxJar・InfluxDBなど外部サービス連携が必要とされた