「The Emergent Symbolic Structure of Artificial Neural Networks」（著者: R. Thomas McCoy、Paul Soulos、Tal Linzen、Paul Smolensky）は、ニューラルネットワークの内部のベクトル表現が、実は暗黙的に記号（シンボル）構造を実現しているという仮説を提示する論文です。研究者らは、リスト操作を学習した小規模ネットワークから、算術・論理・コンピュータコード・言語の4領域で動作する大規模言語モデルまで、幅広い対象で検証を行い、様々なネットワークのベクトル表現が記号構造でよく近似できることを示しました。ネットワーク全体を閉形式の方程式に置き換えても動作がほぼ変わらないことも実証しています。
さらに、内部表現に精密な介入を行うことで大規模言語モデルの挙動を制御できることも示し、識別した記号構造にモデルが依存していることを裏付けたとしています。論文はこの発見について、伝統的な記号ベースの知能概念と現代のベクトルベースAIシステムの間の溝を埋める可能性を提示しています。
出典が伝えている要点
- 論文タイトルは「The Emergent Symbolic Structure of Artificial Neural Networks」
- 著者はR. Thomas McCoy、Paul Soulos、Tal Linzen、Paul Smolenskyの4名
- 研究者らは様々なニューラルネットワークのベクトル表現が記号構造で近く近似できることを示した
- ネットワーク全体を閉形式の方程式に置き換えても動作がほぼ変わらないことを実証した
- 検証対象にはリスト操作を学習した小規模ネットワークが含まれる
- 検証対象には算術・論理・コンピュータコード・言語という4領域で動作する大規模言語モデルが含まれる
- 内部表現への精密な介入によって大規模言語モデルの動作を制御可能であることを示した
- この介入実験は、識別した記号構造にモデルが依存していることの立証だとされている
- 論文は伝統的な記号ベースの知能概念と現代のベクトルベースAIシステムの間の溝を埋める可能性を提示している
原文より
the vector representations of a variety of neural networks can be closely approximated with symbolic structures
出典: arxiv.org