Z.ai(智谱)が公式ブログで、自社GLMモデル向けの推論インフラを中国製AIアクセラレータ10万基以上のクラスタ上で自前構築した経緯を公開しました。「モデルがシステムを最適化し、システムがモデルを動かす」という発想のもと、複数の最適化手法を組み合わせています。
具体的には、線形注意とLM Head向けのテンソル並列化、ReplaySSM、W8A8量子化、INT8/FP8/BF16の混合精度によるキャッシュ量子化、Layer Split、さらにエンコード・プリフィル・デコードの各処理を分散させるEPD(Encode-Prefill-Decode)アーキテクチャを採用しました。これらの組み合わせにより、エンドツーエンドのサービング性能を約3倍改善したとしています。
初期実装から本番投入までは約2週間で完了したとのことです。OpenCode/OpenRouter上での匿名テスト(コードネームOx-Alpha)では、6日間で62兆トークンを処理したと報告されており、NVIDIA GPUと同等のハードウェア利用効率・トークン単価を達成したと述べています。なお開発の過程で、Flash Linear AttentionのPR #1180にてKDAの数値精度バグを修正したともしています。
出典が伝えている要点
- Z.aiはGLM-5.3-Flashの推論サービスを中国製AIアクセラレータ10万基以上のクラスタ上で構築した
- 最適化手法としてテンソル並列化(線形注意とLM Head向け)を用いた
- 最適化手法としてReplaySSMを用いた
- 最適化手法としてW8A8量子化を用いた
- 最適化手法としてINT8/FP8/BF16の混合精度キャッシュ量子化を用いた
- 最適化手法としてLayer Splitを用いた
- アーキテクチャとしてEncode-Prefill-Decode(EPD)分散アーキテクチャを採用した
- これらの最適化によりエンドツーエンドのサービング性能を約3倍改善したとしている
- 初期実装から本番環境投入までに約2週間を要したとしている
- OpenCode/OpenRouter上の匿名テスト(コードネームOx-Alpha)で6日間に62兆トークンを処理したとしている
- NVIDIAのGPUと同等のハードウェア利用効率およびトークン当たりコストを達成したとしている
- Flash Linear AttentionのPR #1180でKDAの数値精度バグを修正したとしている
原文より
The model optimizes the system; the system runs the model.
出典: z.ai