vLLM製「セマンティックルーター」、AMDがGPU支援

出典が伝えている要点

• vllm-project/semantic-router は vLLM プロジェクトが開発・維持している。
• AMD が GPU リソースと ROCm ソフトウェアをスポンサーとして提供している。
• ライセンスは Apache-2.0。
• プロジェクトは「プログラムで可能な Mixture-of-Models ルーター」と説明されている。
• リクエスト信号、ユーザー設定、アプリケーションポリシーを評価して各リクエストに適切なモデルパスを選択・構成する機能を持つ。
• GPU、アクセラレータ、エッジ、クラウドなど異なるコンピュート環境間でのルーティングに対応する。
• エッジ、プライベート、クラウド間でのデータ位置管理機能を持つ。
• PyTorch、Kubernetes、LoRA、OpenVINO、ONNXなどの技術・バインディングに対応している。
• GitHub上でのスター数は5.5k、フォーク数は892。
• Issue数は299、Pull Request数は129。
• メインブランチのコミット数は2,021。
• v0.3(コードネーム「Themis」)までリリースされている。