SemVerBenchは、LLMがソフトウェアのバージョン制約(例: ^1.2.3や>=2.0,<3)の解決意味論をどれだけ正確に理解しているかを測定する、初のベンチマークを提案する論文です。著者はQibai Chen氏とZeming Liu氏で、ICTAI 2026に採択されています。
npm、PEP 440(Pythonのバージョン仕様)、Cargo(Rustのパッケージマネージャー)という3つのエコシステムを対象に、機械検証可能な240項目のテストセットを構築し、複数のLLMを比較評価しました。結果、Claude Opusが他の全モデルを大幅に上回る性能を示し、SonnetもOpenAI系モデルより優れていたといいます。
一方でCargo特有の部分バージョン比較ルールでは、全モデルが約6割の確率で失敗しました。論文は、この失敗はモデルの知識不足というよりルールを実際の判定に適用する能力のギャップによるものだとし、LLMに解決を推論させるのではなく、正確性が保証されたリゾルバー(解決エンジン)に処理を委譲すべきだと提言しています。
出典が伝えている要点
- 論文タイトルは「SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics」である。
- 著者はQibai ChenとZeming Liuの2名である。
- 本論文はICTAI 2026(第38回IEEE International Conference on Tools with Artificial Intelligence)に採択されている。
- 提出日は2026年9月10日である。
- SemVerBenchはLLMのバージョン制約解決意味論の理解度を直接測定する最初のベンチマークであると論文は主張している。
- ベンチマークはnpm、PEP 440、Cargoの3つのエコシステムを対象としている。
- ベンチマークは機械検証可能な240項目で構成されている。
- データは各エコシステムの公式テストスイートと3つのLLM提案者から均衡を取って収集された。
- ラベル付けには2つの独立した実装による非循環的なオラクル(正解判定手法)が用いられた。
- 評価の結果、Claude Opusが他の全モデルを大幅に上回る性能を示した。
- SonnetはOpenAI系モデルよりも性能が優れていたと報告されている。
- Cargoの部分バージョン比較ルールにおいては、全モデルが約60%の割合で失敗した。
原文より
彼らのバージョン制約意味論の理解は直接測定されたことがありません
知識の不足というより、ルールの活用と応用のギャップに見えます
100%正確なリゾルバーに委譲するべき
出典: arxiv.org