「llmfit」は、AlexsJones氏が開発したRust製のターミナルツールです。手元のCPU・RAM・GPU・VRAMなどのハードウェア構成を解析し、快適に動作するオープンソースLLMを量子化形式ごとに推薦してくれます。NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIの自動検出に対応し、GGUF、AWQ、GPTQ、EXL2といった量子化形式のモデル互換性分析も行います。
インタラクティブなTUI（ターミナル上で動く対話的な画面）、Webダッシュボード、REST APIから利用でき、コミュニティによるベンチマーク結果をローカルに保存する機能もあります。マルチGPU構成やMoEアーキテクチャにも対応しており、llmfit recommendやllmfit benchといったサブコマンドが用意されています。macOS・Linux・Windowsに対応し、MITライセンスで公開されています。
出典が伝えている要点
- ツール名は「llmfit」である
- 作者はAlexsJonesである
- CPU・RAM・GPU・VRAMなどのハードウェア構成を解析し、実行可能なオープンソースLLMを推薦する機能を持つ
- NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIのハードウェア自動検出に対応する
- GGUF、AWQ、GPTQ、EXL2の量子化形式のモデル互換性分析に対応する
- インタラクティブなTUIとWebダッシュボードを提供する
- REST APIエンドポイントを提供する
- コミュニティによるベンチマーク結果をローカルに保存する機能がある
- マルチGPU構成とMoEアーキテクチャに対応する
llmfitコマンドでデフォルトのTUIが起動し、llmfit recommend、llmfit fit、llmfit bench、llmfit serveなどのサブコマンドがある- Rust(Cargo)で実装されており、Pythonバインディングも存在し、macOS・Linux・Windowsに対応する
- ライセンスはMITである