GPT-6 Astraという同一のAIモデルが、ARC-AGI-3ベンチマークにおいて実行方法(ハーネス構成)の違いにより大きく異なるスコアを記録したことが紹介されています。Standard harness(推論設定Max、コスト26,098ドル)では62.7%だったのに対し、Provider Adapter harness(推論設定High、コスト18,817ドル)では99.9%に達したとのことです。
この結果から、AIの実効性能はモデル自体の能力だけでなく、観察→推論→行動→評価→再計画のループ設計といった「エージェントアーキテクチャ」に大きく左右されると論じられ、「モデルの能力 ≠ システム全体の実効性能」とされています。今後は単発の「プロンプト」より、モデルを継続的・反復的に運用する仕組みの設計が重要になると主張する一方、99.9%という数値は特定のテスト環境での成績であり、これをもって汎用人工知能(AGI)が完成したと結論づけるべきではないとも述べられています。
出典が伝えている要点
- GPT-6 AstraはARC-AGI-3ベンチマークにおいて、Standard harness(推論設定Max、コスト$26,098)で62.7%のスコアを記録した
- GPT-6 AstraはARC-AGI-3ベンチマークにおいて、Provider Adapter harness(推論設定High、コスト$18,817)で99.9%のスコアを記録した
- 両スコアは同一のGPT-6 Astraというモデルによるものである
- 2つの構成の違いは、モデルをどう継続的に動かすかという仕組み(ハーネス)の違いである
原文より
モデルをどう継続的に動かすかという仕組みが違う
モデルの能力 ≠ システム全体の実効性能
出典: qiita.com