既存のMLLM(マルチモーダル大規模言語モデル)は一般的な視覚理解タスクには強い一方、「2つの類似画像間の差異を特定する」という基本的な比較能力に弱点があるという問題意識のもと、研究チームは新ベンチマーク「VDiff-Bench」を提案しました。1,756問の四択形式で、位置、動き、色(局所/全体)、出現/消失、ノイズ/解像度、テクスチャ、置換/サイズ、OCR/テキスト、照明という10カテゴリの変化を対象とし、正解と意味的に近い難しい誤答選択肢を用意することでモデルの真の識別能力を試す設計です。
11の最先端MLLMで評価した結果、意味的な変化の識別では52.5〜70.6%の精度を示す一方、ノイズやテクスチャなど低レベルな画像変化の識別では8.7〜33.3%まで精度が大きく低下しました。特に閉鎖型モデルのGrok 4.3はノイズ・テクスチャ検出で予想外に大きく性能が落ち込んだといいます。研究チームは、単一画像を対象とした従来の評価では見えなかった弱点が、比較タスクによって明らかになったと結論づけています。
出典が伝えている要点
- VDiff-Benchは1,756個の四択問題からなる、画像ペアの差異識別を評価するベンチマークである
- VDiff-Benchは変化を10カテゴリに分類している：位置、動き、色（局所/全体）、出現/消失、ノイズ/解像度、テクスチャ、置換/サイズ、OCR/テキスト、照明
- 各問題の選択肢は、真の変化、難度の高い負の選択肢2つ、「変化なし」のジャンク選択肢で構成される
- 研究チームは11個の最先端MLLM（マルチモーダル大言語モデル）をVDiff-Benchで評価した
- 評価対象モデルはセマンティック変化（意味的な変化）の識別で52.5%〜70.6%の精度を示した
- 評価対象モデルはノイズやテクスチャなど低レベルの変化の識別で8.7%〜33.3%の精度に低下した
- 閉鎖型モデルのGrok 4.3はノイズ・テクスチャ検出において予期せず大幅な精度低下を示した
原文より
VDiff-Benchは、MLLMの比較的視覚理解を評価するための標的診断を提供し、単一画像タスクでは捉えられない失敗を露呈させます
出典: arxiv.org