訓練データが限られる小規模言語モデルにおいて、パラメータ数を増やす代わりに少数のパラメータ層を繰り返し適用して計算量を増やす手法を提案する論文です。著者はTingshuo Fan氏ら5名。マスク付き次トークン予測と因果言語モデリングの目的を組み合わせた深さ方向のパラメータ共有を用い、748万語規模の英語コーパスで学習させています。
4層を12回反復する「4×12モデル」（パラメータ数12.18M）を開発し、公開されているGPT-2/GPT-BERTのベースラインと比較したところ、BLiMPやGLUEなどのタスクでより少ないパラメータ数で同等の性能を達成したと主張しています。BabyLM 2026リーダーボードでは全体平均35.42、NLP平均48.48のスコアを報告していますが、物理的な層数が少ないことによる表現空間の制限という限界にも言及しています。
出典が伝えている要点
- 論文タイトルは「Looped GPT-BERT: Trading Parameters for Computation in Small Language Modeling」
- 著者はTingshuo Fan、Hongtao Mu、Tianyu Zhou、Hansen Liu、Tao Jiの5名
- 研究では訓練データが限定される状況を対象としている
- マスク付き次トークン予測と因果言語モデリングの目的を組み合わせた深さ方向のパラメータ共有を用いている
- 748万語の英語コーパスで訓練を行った
- 4×12モデル（4層を12回反復、パラメータ数12.18M）を開発した
- 公開されているGPT-2/GPT-BERTのベースラインと比較評価を行った
- BLiMPおよびGLUEを含む選定された言語・下流タスクにおいて、より少ないパラメータ数で同等の性能を達成したと主張している
- BabyLM 2026リーダーボードで全体平均35.42、NLP平均48.48のスコアを報告している
- 物理的な層数が少ないことにより表現空間が制限されるという限界を指摘している