Qwenチームの公式発表によると、音声・動画・画像・テキストの4モダリティに対応するマルチモーダルモデル「Qwen3.8-Omni-Flash」が公開されました。単にコンテンツを理解するだけでなく、タスク計画やツール呼び出し、創作作業の完了までこなす方向にシフトしているとしています。音声・動画は、エージェントが環境を理解し推論して行動する上での中核的なメディアへと位置づけられているとしています。
同チームによると、29項目の評価で平均25%以上の性能改善を実現したとしており、音声入力のAPI価格は98%以上、音声・動画入力は93%以上削減したとしています。音声と映像にまたがって話者を統合的に認識でき、最大1時間の音声・動画入力をネイティブにサポートするとしています。
動画編集、音楽ビデオ制作、映画解説、音声・動画要約、リアルタイム会話といった実務的なワークフローへの応用を想定しているとしています。
出典が伝えている要点
- Qwen3.8-Omni-Flashは音声・動画・画像・テキストの4モダリティに対応するマルチモーダルモデルである
- 29項目の評価において平均25%以上の性能改善を実現したと主張している
- 音声入力のAPI価格を98%以上削減したと主張している
- 音声・動画入力のAPI価格を93%以上削減したと主張している
- 動画編集、音楽ビデオ制作、映画解説、音声・動画要約、リアルタイム会話への応用を挙げている
- Qwen3.8-Omni-Flashは音声と動画にまたがって話者を統合的に認識できるとしている
- 最大1時間の音声・動画入力をネイティブにサポートするとしている
原文より
audio and video are evolving from perceptual inputs into core media through which agents understand their environment, reason, and execute tasks.
Qwen3.8-Omni-Flash jointly recognizes speakers across audio and video and natively supports up to one hour of audio-visual input.
from understanding a meeting to acting on it
出典: qwen.ai