重みを{-1, 0, +1}の3値で表す三値化(ternary)LLMは、情報理論上1.585ビット/重みが限界とされてきました。しかし本研究では、実際のモデルで重みの最大51.5%がゼロに偏っているという非均一な分布が発見され、これを利用した新しいレイアウト方式「BITCOS」が提案されています。
テストされた29モデルのうち26モデルで、既存の5-trit packing方式(1.625ビット/重み)より高い圧縮率を達成し、最もスパースなモデルでは1.485ビット/重みまで圧縮できたとしています。さらに行列ベクトル積の計算では最大1.28倍の高速化、推論スループットではCPU上で最大1.18倍、GPU上で最大1.27倍の改善を実現したとしています。
出典が伝えている要点
- 三値化LLMの重みは従来、情報理論上1.585ビット/重みで表現できるとされてきた
- 著者らは、三値化モデルにおいてゼロが重みの最大51.5%を占めることを発見した
- 著者らはこの非均一なゼロ分布を利用したBITCOSという新しいレイアウト方式を提案している
- BITCOSは、テストした29モデルのうち26モデルで5-trit packing方式(1.625ビット/重み)より圧縮効率が良い
- BITCOSは最もスパースなモデルで1.485ビット/重みの圧縮率を達成した
- BITCOSは行列ベクトル積の計算で最大1.28倍の高速化を実現する
- BITCOSはCPU上で最大1.18倍、GPU上で最大1.27倍の推論スループット改善を実現する
原文より
ゼロは重みの最大51.5%を占める
26/29のテスト済みモデルで5-trit packing(1.625ビット/重み)より圧縮効率が良い
出典: arxiv.org