LLMの強化学習(RL)では、簡単な問題では大きな性能向上が得られる一方、難しい問題には効果が限定的だという「Matthew Effect in RL」という現象が指摘されています。これに対処するため、著者らは正解が得られるまでサンプル生成を続ける適応的サンプリング手法「Never Give Up (NGU)」を提案しています。NGUは簡単な問題のフィルタリングに要する計算量を減らし、より難しい問題に計算資源を配分できます。
NGUは非同期RLを用いて実装され、Deepscalerベンチマークでは特に難問において計算効率あたりの性能が向上したと報告されています。また自作のManufactoriaコーディングタスクでは、標準的なGRPO（LLMの強化学習で用いられる最適化手法の一つ）では解けない複雑な問題を段階的に解けるようになり、最終的に完全解を実現したとされています。著者らは設計上の選択肢やベストプラクティスについても調査しており、ブログとコードも公開しています。
出典が伝えている要点
- 著者らはLLMのRLにおいて、簡単な問題では性能が大きく向上する一方、難しい問題では改善が限定的になる現象を「Matthew Effect in RL」と名付けている
- 著者らは「Never Give Up (NGU)」という手法を提案している
- NGUは正解が得られるまでサンプルを生成し続ける適応的サンプリング手法である
- NGUにより簡単な問題をフィルタリングするために必要な計算量が少なくなる
- NGUはより難しい問題へ計算リソースを効率的に配分できるとされる
- NGUは非同期RLを活用して実装されている
- Deepscalerベンチマークにおいて、特に難問で計算効率あたりの性能が向上したと報告されている
- Manufactoriaというコーディングタスクにおいて、標準的なGRPOでは解けない複雑な問題をNGUは段階的に解決し、最終的に完全解を実現したと報告されている
- 著者は設計選択肢とベストプラクティスについても調査している
- 著者はブログとコードを公開している
原文より
RL shows large improvements on easy problems
出典: arxiv.org