コーディングエージェント向けにリポジトリのSKILL文書（Markdownでコードと共にバージョン管理される知識文書）を最適化する手法を検証した論文です。マージ済みプルリクエストを凍結時点から復元する新しい評価タスクを設計し、3つのKotlinリポジトリでSKILL文書の有無によるエージェント性能差を測定しました。
GEPAという最適化手法では平均4.9ポイントの性能向上が見られた一方、SkillOptという別手法では0.1ポイントとほぼ改善が見られませんでした。著者らは、この改善幅が単一リポジトリの限られたタスク数ではエージェントの実行ごとのばらつきと統計的に区別できない可能性があると自ら注意点を述べています。
出典が伝えている要点
- 論文タイトルは『Skill Issue: Lessons from Optimizing Repository SKILLs for Coding Agents』
- 著者はMykhailo Kozyrev、Andrei Kozyrev、Anton Podkopaevの3名
- 論文はarXivに2026年9月11日に提出された（arXiv ID: 2609.12742）
- 研究はコーディングエージェント向けのリポジトリSKILL文書（.mdファイルとしてコードと共にバージョン管理される）を対象としている
- 評価タスクとして、マージ済みのプルリクエストを単一の凍結時点から復元する手法を採用した
- SKILL文書使用時と非使用時のエージェント性能差を採点方法として測定した
- 3つのKotlinリポジトリで検証を行った
- GEPAによる最適化では平均4.9ポイントの性能向上が得られた
- SkillOptによる最適化では0.1ポイントの改善にとどまり、ベースラインとほぼ同等だった
- 著者らは、得られた改善が単一リポジトリの履歴が供給するタスク数ではエージェントの実行間差異から統計的に分離できない可能性があると述べている
原文より
得られた改善は単一リポジトリの履歴が供給するタスク数では、エージェントの実行間差異から分離できない
出典: arxiv.org