論文「DRACO: Fine-Grained Credit Assignment with Dynamic Rubrics for Long-Horizon Agent Training」（Shubham Gandhi氏ら）は、プログラム的なチェッカーが存在しない長期水平タスクの強化学習（RL）における課題に対し、DRACO（Distributing Rubric-based Advantage for Credit Optimization）という手法を提案しています。
DRACOは動的にルーブリックを生成してポリシーの進化する能力を追跡し、トラジェクトリ単位でスコアリングした判断を責任あるステップへ再分配することで、学習された帰属モジュールなしに段階ごとの優位性（advantage）を生成します。AppWorldではベースモデルより15.9ポイント、疎な真実報酬を用いるGRPOより5.3ポイント向上したとしています。
ドメイン外ベンチマークであるTau-Benchでもベースモデルより5.3ポイント向上し、真実報酬によるトレーニングや他のルーブリックベース手法を上回ったとしています。コードはGitHubで公開されています。
出典が伝えている要点
- 論文タイトルは『DRACO: Fine-Grained Credit Assignment with Dynamic Rubrics for Long-Horizon Agent Training』である
- 著者はShubham Gandhi、Saurabh Goyal、Kiran Kate、Yara Rizkである
- 提案手法の名称はDRACO(Distributing Rubric-based Advantage for Credit Optimization)である
- DRACOは動的にルーブリックを生成し、ポリシーの進化する能力を追跡する
- DRACOはルーブリックをトラジェクトリ単位でスコアリングする
- DRACOは判断を責任のあるステップに再分配し、段階ごとの優位性(advantage)を生成する
- DRACOは学習された帰属モジュールを導入しない
- AppWorldというベンチマークにおいてDRACOはベースモデルより15.9ポイント向上した
- AppWorldにおいてDRACOは疎な真実報酬を用いるGRPOより5.3ポイント上回った
- ドメイン外ベンチマークであるTau-BenchにおいてDRACOはベースモデルより5.3ポイント向上した
- Tau-BenchにおいてDRACOは真実報酬によるトレーニングや他のルーブリックベース手法を上回った
- 本手法のコードはGitHubで公開されている