AIエージェントのメモリ(会話履歴や知識)が、LLMモデルをアップグレードした際にどれだけ引き継げるかを検証した論文です。新しいモデルは旧モデルが作ったメモ書きの解釈が異なったり、埋め込み(embedding)のバージョン混在が検索精度を損なったりする問題があると指摘しています。48件の合成履歴と、100億(10B)未満のパラメータを持つ2つのオープンウェイトモデルを使い、4種類のメモリ保存方式を比較しました。この論文は2026年9月4日にarXivに投稿されています。
履歴を逐語的に保持するLC-RAW、検索拡張生成のRAG、自然言語に圧縮するNOTES、固定スキーマの知識グラフKG-fixedのうち、KG-fixedが最もモデル交換に強く、精度変化はわずか+0.0004±0.0020にとどまりました。一方、NOTES方式は精度が-13.28ポイントから+9.91ポイントの範囲で変動し、モデル交換後の性能低下から回復した修復成功率も48例中0例と低い結果でした。RAG方式は埋め込みを完全に再生成すると11.90ポイントの改善が得られる一方、新旧埋め込みを50/50で混合した場合は4.96ポイントの改善にとどまり、埋め込みの取り扱いが結果を大きく左右することが示されました。
出典が伝えている要点
- 研究は4つのメモリ保存方式を比較した:LC-RAW(履歴を逐語的に保持する長文脈読み込み)、RAG(検索拡張生成のためのチャンク分割)、NOTES(モデルによる自然言語への圧縮)、KG-fixed(固定スキーマの知識グラフ)。
- 実験には48件の合成履歴(synthetic histories)を使用した。
- 実験には100億(10B)未満のパラメータを持つ2つのオープンウェイトモデルを使用した。
- KG-fixed方式はモデル交換後の精度変化が+0.0004±0.0020にとどまった。
- NOTES方式は精度が-13.28ポイントから+9.91ポイントの範囲で変動した。
- RAG方式で新旧埋め込みを50/50で混合したインデックスの場合、改善幅は4.96ポイントにとどまった。
- RAG方式で完全に再埋め込みした場合の改善幅は11.90ポイントだった。
- NOTES方式の修復成功率は48例中0例だった。
- 履歴保持(LC-RAW)方式の修復成功率は48例中34例だった。
- この論文は2026年9月4日にarXivに投稿された。
原文より
KG-fixed accuracy changing by only +0.0004 ± 0.0020
出典: arxiv.org