arXivの論文「Sample Count Is Not Enough」（Mobina Kashaniyan、Ali Jannesari）は、同じ数の生成候補でも、テスト時スケーリング（推論時に複数候補を生成して選ぶ手法）における候補生成のスケジュール（バッチ実行か逐次実行か）によって、消費エネルギーとレイテンシが大きく変わることを実証しています。
Phi-3-miniとQwen2.5-1.5BをGSM8KとSciQで評価し、候補数N=8を固定して生成スケジュール（1x8、2x4、4x2、8x1）を比較したところ、8回の逐次実行呼び出しは1回のバッチ呼び出しと比べてGPUエネルギー使用量で4.64〜4.86倍、P95レイテンシで5.77〜6.12倍を消費したといいます。候補数だけでなく生成戦略こそがコストを左右すると論じています。
出典が伝えている要点
- 論文タイトルは『Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling』である
- 著者はMobina KashaniyanとAli Jannesariである
- 実験対象モデルはPhi-3-miniとQwen2.5-1.5Bである
- 評価タスクはGSM8K(500問)とSciQである
- 使用GPUはNVIDIA A100およびV100である
- 候補数N=8に固定し、生成スケジュール(1x8、2x4、4x2、8x1)を比較する実験を行った
- 8回の順序実行(逐次)呼び出しは、1回のバッチ呼び出しと比べてGPUエネルギー使用量で4.64〜4.86倍を消費するという結果が得られた
- 8回の順序実行(逐次)呼び出しは、1回のバッチ呼び出しと比べてP95レイテンシで5.77〜6.12倍を消費するという結果が得られた
原文より
8つの順序実行呼び出しは、1つのバッチ呼び出しと比べて、GPUエネルギー使用量で4.64-4.86倍、P95レイテンシで5.77-6.12倍を消費する
出典: arxiv.org