カリフォルニア大学バークレー校のTsung-Han Wuらによる「CoVA-SFT」は、マルチモーダル言語モデルにテキストだけでなく図やレイアウトなどの視覚的抽象化を組み合わせた推論（Chain of Visual Abstractions）を学習させるための大規模データセットです。従来のCoT推論がテキストのみに依存していたのに対し、視覚的な内部ワークスペースを構築・維持する能力の獲得を目指します。
データセットは51,900件のサンプルと22万以上のマルチモーダル推論ステップからなり、5つのレイアウト形式と17の複雑なタスクをカバー、1,700件のテストサンプルによるベンチマーク「CoVA-Bench」も用意されています。このデータで微調整したモデルはinterleaved CoTベースラインを平均2倍以上上回った一方、テキストのみのCoTベースラインにはまだ及ばず、今後の課題として示されています。
出典が伝えている要点
- 論文タイトルは「CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions」である。
- 著者はTsung-Han Wu、Heekyung Lee、Anya Ji、Haoming Chen、Trevor Darrell、Joseph E. Gonzalez、David M. Chanである。
- この研究はマルチモーダル言語モデルに対し、テキストと視覚的抽象化を組み合わせた推論能力を学習させるための大規模データセットを提案している。
- 従来のChain-of-thought推論はテキストのみに依存していたが、本研究は視覚的な内部ワークスペースを構築・維持する方法を学習させることを目的としている。
- データセットのサンプル数は51,900件である。
- データセットには222,000以上のマルチモーダル推論ステップが含まれる。
- データセットは5つのレイアウト形式と17の複雑なタスクをカバーしている。
- 1,700件の保持済みテストサンプルからなるベンチマーク「CoVA-Bench」が用意されている。
- データセットには明示的な根拠の定式化、エージェント的レンダリング、検証ループという要素が含まれる。
- 本データセットで微調整されたモデルは、interleaved CoTベースラインをCoVA-Benchで平均2倍以上上回った。
- 微調整されたモデルは、テキストのみのCoTベースラインにはまだ劣っている。