OpenArchは、最新のオープンソースLLMアーキテクチャをPyTorchでゼロから実装しているGitHubリポジトリです。本番用途ではなく、読みやすさと学習を重視した教育的リソースとして作られています。GPT-2 XLからLlama 2/3/4、DeepSeek R1、Gemma 3、Qwen 3など多数のテキストモデル、PaliGemmaなどのマルチモーダルモデルが実装対象です。
注意機構（MHA、GQA、MLAなど）や正規化方式、位置エンコーディング、Mixture of Experts機構など、各モデルのアーキテクチャ選択の違いを比較しやすくすることを狙いとしています。スター数233、ライセンスはApache License 2.0で、モデル実装の追加やドキュメント・テストの貢献が歓迎されています。
出典が伝えている要点
- リポジトリ名はOpenArchで、コンセプトは「Python implementations of modern open-source LLM architectures — written from scratch, one model at a time」
- 本番環境向けではなく、読みやすさと学習を優先したリソースとされている
- 実装対象のテキストモデルにはGPT-2 XL、Llama 2/3/4、OLMo 2、DeepSeek R1、Gemma 3、Mistral 3、Qwen 3、Kimi K2、GLM 4.5、GPT-OSS、Grok-2.5が含まれる
- Grok-2.5は開発中（🚧）とされている
- マルチモーダルモデルとしてPaliGemma（完成）、Qwen3（開発中）、DALL-E（開発中）が挙げられている
- 実装では注意機構（MHA、GQA、MLA等）、正規化方式（RMSNorm、QK-Norm等）、位置エンコーディング（RoPE等）、Mixture of Experts機構の違いを比較できるようにしている
- リポジトリのスター数は233、フォーク数は13、コミット数は102
- ライセンスはApache License 2.0で、個別のモデル実装は元モデルのライセンスに従うとされている
- モデル実装の追加、ドキュメント作成、テスト実装の貢献が歓迎されている
原文より
Python implementations of modern open-source LLM architectures — written from scratch, one model at a time
出典: github.com