Qwen3.8-Nextは総パラメータ125B、トークンあたり活性パラメータ6Bという構成の新アーキテクチャです。トークン混合ではGated DeltaNetと全注意層を組み合わせたハイブリッド層設計(4層ごとに全注意層を配置)を採用し、継続事前学習時には全注意層をQwen Sparse Attention(QSA)に置き換えます。さらに「Gated Residual(GR)」と呼ばれる4分岐の残差ストリーム設計も導入しました。
前任モデル(397B-A17B)と比べ、学習トークン数は約1/3、学習FLOPsは約1/9にまで削減しながら、14の事前学習ベンチマークのうち8つで上回り、劣った項目でも最大2.6ポイント差にとどめたとしています。
出典が伝えている要点
- Qwen3.8-Nextの総パラメータ数は125B。
- Qwen3.8-Nextのトークンあたり活性パラメータ数は6B。
- Qwen3.8-Nextはオフアクセレータに51BのN-gram埋め込みテーブルを保持する。
- Qwen3.8-Nextは前任モデル(397B-A17B)と比較し、14の事前学習ベンチマークのうち8つで上回った。
- Qwen3.8-Nextは前任モデル(397B-A17B)と比較し、劣ったベンチマークでは最大2.6ポイント下回った。
- Qwen3.8-Nextの学習トークン数は前任モデルの約1/3である。
- Qwen3.8-Nextの学習FLOPsは前任モデルの約1/9である。
- Qwen3.8-Nextはトークン混合においてGated DeltaNetと全注意のハイブリッド層設計を採用している。
- Qwen3.8-Nextは4層ごとに全注意層を含む。
- 継続事前学習(continued pre-training)時には全注意層がQwen Sparse Attention(QSA)に置換される。
- Qwen3.8-Nextは「Gated Residual(GR)」と呼ばれる4分岐の残差ストリーム設計を採用し、要素ごとのゲートを通じて読み取りを行う。
- 論文の著者は代表著者Zihan Qiu、Dayiheng Liuを含む合計36名である。