LLMがコード生成時に自ら書く自然言語コメントが、後続のコード生成にどう影響するかを調べた研究です。著者はDangfeng Pan氏ら5名。観察分析と制御実験を組み合わせ、弱いモデルに強いモデルが生成したコメントを事前提供することで、コメントの「見た目の形式」と「実際の解法内容」を切り分けて検証しました。
結果、成功した解法から得たコメントを与えた場合はpass@1（1回の生成で正解コードが得られる割合）が平均17.2%向上した一方、失敗した解法からのコメントでは目立った改善が見られませんでした。さらに問題と無関係なコメントを与えた場合はpass@1が20.8%低下したとのことです。論文は「コメントがコード生成を助けるのは、コメントであること自体ではなく、正しい解法内容を提供できるためだ」と結論づけています。
出典が伝えている要点
- 論文タイトルは『Talking to Itself While Coding: What Makes Comments Help Code Generation?』
- 著者はDangfeng Pan, Zhensu Sun, Cenyuan Zhang, David Lo, Xiaoning Duの5名
- 研究では観察分析と制御実験を組み合わせた手法を用いた
- 研究者は弱いモデルに強いモデルが生成したコメントを事前に提供する実験を行った
- この実験によりコメントの表面的な形式と実際の解法内容を分離して検証した
- 成功した解法から得られたコメントを与えた場合、pass@1が平均17.2%向上した
- 失敗した解法から得られたコメントを与えた場合、顕著な改善は見られなかった
- 問題とは異なる無関係な問題のコメントを与えた場合、pass@1が20.8%低下した
- 結論として、コメントがコード生成を助けるのはコメントであることそのものではなく、正しい解法内容を提供できるためであるとされた
原文より
Large Language Models (LLMs) often generate natural-language comments while writing code, and these comments become part of the context used to generate the code that follows.
comments help code generation not merely because they are comments, but because they can provide correct solution content
出典: arxiv.org