本論文は、LLMを評価者として用いる際の特性を分析するため、心理測定学のラッシュ測定理論（RMT）を応用しています。LLMはベンチマークの採点対象、他モデルの判定者（LLM-as-judge）、人間生成コンテンツの評価者として評価の多くの場面に関わっていますが、著者らはMeasuring Hate Speechコーパスを用い、複数のLLMファミリーから9つのLLMの注釈を多面的ラッシュモデルで分析しました。
その結果、LLM評価者は人間の評価者と比較して、深刻度判定の傾向、項目レベルの較正、質問順序に対する頑健性の点で系統的に異なることが示され、これらの違いは従来の標準的な評価方法では検出されない可能性があると論じています。
出典が伝えている要点
- LLMは、ベンチマークで採点される対象、他のモデルの判定者(judge)、人間が生成したコンテンツの評価者として、評価の多くの側面に関わっている
- 著者らはMeasuring Hate Speechコーパスを使用した
- 著者らは複数のLLMファミリーから9つのLLMの注釈を分析した
- 分析には多面的ラッシュモデル(multi-faceted Rasch model)を適用した
- LLM評価者は人間の評価者と比較して、深刻度(severity)の判定傾向が系統的に異なる
- LLM評価者は人間の評価者と比較して、項目レベルの較正(item-level calibration)が系統的に異なる
- LLM評価者は人間の評価者と比較して、質問順序に対する堅牢性(robustness to question ordering)が系統的に異なる
- 著者らは、これらの違いは標準的な評価方法では検出されない可能性があると主張している
- 論文の著者はPratik S. SachdevaとNathan Boudolである
原文より
LLMs are implicated in many facets of evaluation: as subjects scored on benchmarks, as judges of other models, and as raters of human-generated content.
出典: arxiv.org