「Infinite-Parameter LLMs」と題する論文では、モデルの重みを学習後に固定せず、実行時にライブデータから生成・適応させる新しいアーキテクチャが提案されています。ハイパーネットワークを使ってランタイムデータを共有ベースネットワークの低ランク変調に変換し、さらにベイズ的な信念を潜在コードとして保持してセッション進行中に更新することで、実質的に「無限のパラメータ」を持つかのような効果を実現するという主張です。
著者らは、この仕組みによって情報をコンテキストに詰め込む代わりに重みに組み込むことができ、「計算の分散化、コンテキストウィンドウの解放、ターン間での情報の永続化」が可能になるとしています。著者はJinli Hu、Ross M. Clarke、Yichuan Zhang、José Miguel Hernández-Lobatoの4名です。
出典が伝えている要点
- 論文タイトルは「Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data」である。
- 著者はJinli Hu、Ross M. Clarke、Yichuan Zhang、José Miguel Hernández-Lobatoの4名である。
- 提案手法はハイパーネットワークを使用してランタイムデータを共有ベースネットワークの低ランク変調に変換する。
- 提案手法はベイズ的な信念を潜在コードとして保持し、セッション進行中にそれを更新する。
- 著者らはこの仕組みを重みの「効果的な無限性」と表現している。
- 著者らは、この手法によりコンテキストに組み込む代わりに重みに組み込むことができ、計算の分散化・コンテキストウィンドウの解放・ターン間での情報の永続化が可能になると主張している。
原文より
文脈に組み込む代わりに重みに組み込むことで、計算を分散化し、文脈ウィンドウを解放し、ターン間で永続化できる
出典: arxiv.org