SpeakerMem-R1が77 upvotesで首位に立ち、多人数対話の話者別記憶、利用時にメモリを編成するJust-in-Time Memory、自己回帰映像生成の記憶と、一日の軸は「何を覚えるか」ではなく「いつ・どう編成するか」に寄った。GAEとHappyWorld-Benchが世界生成の表現と評価を同時に突き、ベンチマーク汚染を測る研究群も揃っている。
注目論文
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
著者: Haobo Zheng, Tan Tang, Yan Chen et al.
多人数が参加する場での長期的な会話記憶は、長い対話履歴から関連する内容を取り出すだけでは足りない(77 upvotes)。誰が何を言い、各発言が誰について述べたものか、参加者が互いをどう認識しているか、集団で共有されている情報は何か、そしてそれらの状態がどう変化するかを区別しなければならないと本研究は整理する。
新規性: 記憶の索引を発言内容ではなく話者に置き、さらにそれを二つの系統に分けた点が中核である。長期会話記憶の設計は、履歴を要約したり関連チャンクを検索したりする形で進むのが通例である——だが話者が三人以上になると「A が B について述べた評価」のような情報が生まれ、内容だけを索引にした記憶では発話者と言及対象が混ざる。話者中心の二系統メモリという構成は、その帰属を記憶の構造として保持するためのものである。
手法: 発話者と言及対象を区別する話者中心の記憶表現を二系統で構成し、多人数対話における長期記憶の保持と参照を行う。
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
著者: Jiahao Lu, Minghao Yin, Wenbo Hu et al.
知覚と生成が共有する基盤として、コンパクトで幾何ネイティブな潜在空間を提示する(44 upvotes)。視覚生成器は一貫した 3D シーンを保持しないまま写実的なフレームを作り出せてしまう——これはモデリングの問題であると同時に表現の問題だと本研究は主張する。
新規性: 3D 整合性を後段の制約や損失ではなく、潜在空間の性質そのものとして持ち込んだ点が中核である。映像・シーン生成の一貫性改善は、カメラ姿勢や深度を条件として与えたり整合性損失を足したりする形で進むのが通例である——だが潜在空間が画素の見た目に最適化されている限り、幾何的に矛盾した状態も潜在空間内では等しく自然であり、制約は外から押し戻す形にしかならない。幾何ネイティブな潜在空間という構成は、その矛盾を表現できないようにするためのものである。
手法: 知覚と生成で共有できるコンパクトな幾何ネイティブ潜在空間を学習し、その上で 3D 整合的な世界生成を行う。
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
著者: Kaixiang Yao, Xu Wang, Miao Pan et al.
空間推論は、視覚言語モデル(VLM)が物理世界を理解し行動するために不可欠である(43 upvotes)。動的な環境での推論は、物体の運動や視点の変化が引き起こす局所的な状態遷移を知覚し、それを長い軌跡にわたって統合して最新の状態を保ち続けることを要求すると本研究は述べる。
新規性: 空間理解を静止画に対する問いではなく、観測可能な物理世界との相互作用を通じた状態追跡として定式化した点が中核である。VLM の空間能力評価と学習は、単一画像の位置関係や距離を問う形で進むのが通例である——だが実際の行動では、物体が動き自分の視点も変わるため、各時点の正解を積み上げるだけでは「いま何がどこにあるか」の像が保たれない。局所的な遷移を長い軌跡上で統合する構成は、その保持を学習対象に含めるためのものである。
手法: 物体運動と視点変化による局所的状態遷移を知覚し、長い軌跡にわたって統合することで、VLM の空間推論を相互作用から学習する。
HappyWorld-Bench
著者: Zhiqi Bai, Junai Cai, Yixin Chen et al.
世界モデルの評価は、生成される世界の品質だけでなく、探索・干渉・改変の下でその世界が一貫性と応答性を保つかを併せて測る必要がある(39 upvotes)。本研究は、エージェントが世界の中で振る舞う際に生成世界が信頼できる状態に留まるかを評価する総合ベンチマーク HappyWorld-Bench を導入する。
新規性: 世界モデルの評価軸を出力フレームの品質から、エージェントの働きかけに対する挙動の安定性へ移した点が中核である。生成モデルの評価は、出力の写実性や参照との一致度をスコア化する形で進むのが通例である——だが世界モデルの用途は見ることではなく、その中で行動し状態を変えることであり、美しい一枚が得られても干渉を加えた途端に整合性が崩れれば使えない。探索・干渉・改変を評価プロトコルに組み込む構成は、その崩れを測るためのものである。
手法: 生成世界の品質評価に加え、探索・干渉・改変という操作を加えた際の一貫性と応答性を測る評価項目群を構成する。
The Past Frames the Future: Memory for Autoregressive Video Generation
著者: Harold Haodong Chen, Rongjin Guo, Disen Lan et al.
生成モデルの進展は映像の忠実度を高め、長時間生成、対話的な世界モデリング、変化し続ける視覚環境を可能にしてきた(36 upvotes)。自己回帰(AR)的な映像生成は因果的なロールアウトで視覚系列を延長するが、生成が伸びるにつれて根本的なボトルネックが現れると本研究は指摘する。
新規性: 長時間映像生成の劣化を生成器の表現力や誤差累積ではなく、過去フレームをどう保持するかという記憶設計の問題として立てた点が中核である。AR 映像生成の長尺化は、ロールアウトのスケジュールや教師強制の与え方を調整する形で進むのが通例である——だが直前の数フレームだけを参照する構造が残る限り、数十秒前に現れた対象が戻ってきたときに同一性を保つ根拠がなく、破綻は時間の経過に比例して増える。記憶機構として扱う構成は、その参照範囲そのものを設計対象にするためのものである。
手法: 自己回帰的な映像生成において過去フレームの保持と参照を記憶機構として設計し、長時間ロールアウトでの一貫性を扱う。
Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents
著者: Yefan Zhou, Yang Li, Zeyu Leo Liu et al.
エージェント記憶システムは過去の経験を再利用して将来の性能を高めるが、既存の設計の多くは書き込み時にメモリを編成すると本研究は整理する(33 upvotes)。タスクが完了すると、その軌跡は reflection・workflow・skill・推論戦略といった固定された成果物へ蒸留され、後から類似度で検索されるだけになる。
新規性: メモリの編成時点を書き込み時から利用時へ移した点が中核である。エージェント記憶の改良は、軌跡から何をどう蒸留するか——反省文か手順書かスキルか——という書き込み側の設計として進むのが通例である——だが蒸留の時点では将来どのタスクでその経験が必要になるかが分からず、固定された成果物は次に来た問題に対して過剰か不足かのどちらかになる。利用時にタスク適応的に編成する構成は、その判断を必要な情報が揃った時点まで遅らせるためのものである。
手法: 過去の軌跡を固定成果物へ蒸留せずに保持し、現在のタスクに応じてメモリを編成・取得するエージェント記憶方式を構成する。
StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
著者: Bao Tang, Jiahao Guo, Haoxiang Cao et al.
ベクトル量子化(VQ)は、現代の自己回帰的・マスク型画像生成を支える離散視覚トークナイザの基盤である(25 upvotes)。近年の共有射影コードブック手法はコードブック利用率を大きく改善してきたが、学習の安定性は critical かつ未開拓の課題として残っていると本研究は指摘する。
新規性: VQ トークナイザの課題をコードブック利用率という指標から、学習過程の安定性という別の軸へ移した点が中核である。VQ の改良はコードブック崩壊を防ぎ利用率を上げる手法として進むのが通例である——だが利用率が上がった構成でも学習曲線が発散したり再現性を欠いたりすれば、下流の生成モデルの品質は施行ごとに揺れる。安定性に焦点を当てて実践的指針を与える構成は、その揺れを設計上の選択として扱うためのものである。
手法: 離散視覚トークナイザの VQ 学習における不安定性を分析し、安定した学習を得るための実践的な設計指針を提示する。
RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
著者: Zhenchen Tang, Yang Li, Songlin Yang et al.
映像生成モデルの最適化には強化学習が不可欠であり、堅牢な報酬モデル(RM)がその礎となる(21 upvotes)。しかし既存の映像報酬モデルは、複雑で主観的な映像品質を単一のスコアへ直接写してしまうため、不安定なスカラースコアを出しがちだと本研究は指摘する。
新規性: 報酬の出力形式を単一スコアからルーブリックに媒介された評価へ置き換え、その上で方策最適化を行う点が中核である。生成物の報酬モデリングは人間の選好データからスカラー関数を学ぶ形で進むのが通例である——だが映像の良し悪しは運動の自然さ、時間的一貫性、指示への忠実さといった複数の軸に分かれており、一つの数値に畳み込む過程で軸ごとの判断根拠が失われ、似た映像に対する出力が揺れる。ルーブリック誘導という構成は、その軸を報酬側に残すためのものである。
手法: 評価ルーブリックを介して映像の品質判断を構成し、それに誘導された方策最適化として映像報酬モデリングを行う。
PACT: From Credit Assignment to Critic Alignment
著者: Jiayan Fu, Hang Xu, Yong Zhang et al.
強化学習は大規模言語モデルの事後学習の中核的な構成要素になったが、トークン単位の信用(credit)には一般に受け入れられた数学的定義がなく、よく使われる学習信号との関係が不明なまま残されている(15 upvotes)。本研究は Completeness を含む三つの正則性条件を定式化し、信用割当を critic の整合性という問題へ接続する。
新規性: トークン単位の信用割当を経験的な設計ではなく、満たすべき条件の定式化から出発した点が中核である。LLM の強化学習はトークンへの割当を advantage の形やアドホックな重み付けで与える形で進むのが通例である——だが「あるトークンの貢献」が何を意味するかの定義がないまま手法を比較しても、性能差がどの仮定に由来するかを切り分けられない。正則性条件を先に置く構成は、その切り分けを可能にし、critic の整合という既存の問題へ橋を架けるためのものである。
手法: トークン単位の信用が満たすべき三つの正則性条件を定式化し、そこから critic の整合性へ至る枠組みとして事後学習の更新則を構成する。
Schrödinger’s Code Repository: Have LLMs Learned SWE-bench or Memorized It?
著者: Silin Chen, Yufei Yang, Xiaodong Gu et al.
リポジトリ級のコーディングベンチマークはコーディングエージェント評価の標準になったが、人気のオープンソースリポジトリ——訓練にも繰り返し使われてきたもの——の上に構築されるため、本質的にデータ漏洩を抱えていると本研究は指摘する(14 upvotes)。したがって高いスコアは、正典的なリポジトリの暗記を反映している可能性がある。
新規性: ベンチマーク汚染を「あったか / なかったか」ではなく、スコアのうちどれだけが暗記に帰属するかという切り分けの問題として扱った点が中核である。汚染の議論は訓練データとテストデータの重複を検出する形で進むのが通例である——だが重複の検出はモデルがその問題に触れたことを示すだけで、性能のどこまでが触れたことに由来するかには答えない。暗記と学習を分離する構成は、その帰属を測るためのものである。
手法: リポジトリ級コーディングベンチマークにおけるデータ漏洩の影響を切り分け、報告されたスコアが暗記によるものか一般化によるものかを検証する。
分野別の動向
エージェント記憶:書き込み時から利用時へ
Just-in-Time Memory(33 upvotes)が編成時点を利用時へ移し、SpeakerMem-R1(77 upvotes)が索引を話者に置き換える一方、arXiv 側では同じ問いが三つの異なる角度から同時に出ている。EnSIMem は記憶を [エンティティ][型][属性:値] の形で索引化し、各項目に出典となる発話ターン・時間情報・マルチモーダルフィールドを保持させる——要約の圧縮ではなく出典の保存を前提に据え、応答は要約ではなく保存された根拠から生成する構成である。DRSR は逆に「何を捨てるか」を扱い、履歴の削除を個別スコアの積み上げではなく集合としての危険度で評価する。冗長な根拠、小さな影響の累積、削除後に残る情報のいずれも単体スコアでは表現できないという指摘は、記憶の圧縮を選択問題として立て直すものだ。WorkBuddyBench で平均報酬 0.699→0.802、総トークン 20.8% 削減と報告する。Memory Control Signals はさらに手前へ遡り、圧縮や想起の必要性がモデルの隠れ状態に行動前から符号化されているかを調べ、それが文脈長や進行度だけでは説明できないと述べる。記憶を「どう作るか」から「いつ判断するか」へ寄せる動きが揃っている。
世界モデル:表現の側と評価の側
GAE(44 upvotes)が 3D 整合性を潜在空間の性質として与え、HappyWorld-Bench(39 upvotes)が干渉下での一貫性を測る側に立つ。The Past Frames the Future(36 upvotes)は同じ問題を時間方向で扱い、長尺ロールアウトの破綻を記憶設計として切り出す。ロボティクス側からは InternW0(5 upvotes)が「予測は世界が変わり続ける中で行動可能なまま留まらなければならない」と述べて omnimodal な物理世界モデルを提示し、Uranus(1 upvote)が関節軌跡条件付きのデータ駆動シミュレータを組む。生成の忠実度を上げる競争から、生成された世界が行動の基盤として耐えるかを問う段階へ移りつつある——表現(GAE)・評価(HappyWorld-Bench)・時間(Past Frames)・身体(InternW0)が同じ日に並んだのは偶然ではないだろう。
ベンチマークの妥当性を測る
Schrödinger’s Code Repository(14 upvotes)が漏洩の帰属を問う一方、arXiv 側には同じ論点をより定量的に攻める研究が二本ある。LeakScale は「評価素材が訓練に入った証拠は、それがスコアにどれだけ効いたかを示さない」という区別から出発し、公開タスクからは導出できない family 固有の私的情報を要する実行可能タスクを新たに生成してアクセスを制御する介入枠組みを提示する。2,048 family・262,144 生成にわたり、露出は全ての model×domain 組み合わせで精度を改善し、その幅は +7.17〜+27.31 ポイントだと報告する。What Makes a Terminal-Bench Task Hard? は逆方向から迫り、「どのモデルも解けないタスク」が自動的に難しいタスクではないと述べる。全失敗の 125 タスクを検証すると、certified-unsolved として残るのは 78 件のみで、参照解が壊れているもの 14 件、インフラ障害が支配するもの 8 件、verifier の迂回でのみ通るもの 4 件、証拠が可解性を保証しないもの 21 件が混ざっていた。PotARCin は ARC を五つの軸(定義・分類・制約付き生成・編集・逆問題)へ拡張し、標準評価との間に 25〜52 ポイントの差を観測して、単一精度が同列に並べるモデルの順位が入れ替わると報告する。飽和していないこと・難しいこと・能力を測っていることの三つは別物だという指摘が、三本に共通している。
強化学習の信用割当と報酬の形
PACT(15 upvotes)がトークン単位の信用に定義を与え、RewardVerse(21 upvotes)が報酬の出力形式をルーブリックへ開く。arXiv 側では RLDS が「スカラーを良くするのではなく分解する」という立場を明示し、軌跡報酬を固定タクソノミ上のサブタスク別に分けてから方策更新へ入れる。ScienceWorld で +11.5 ポイント(95% CI [+9.8, +13.3])、FrozenLake で +9.8 ポイントと、利得はサブタスクの異質性に比例し、異質性の低い HotpotQA と DeepResearch では雑音の範囲に収まると報告する——効く場所を事前に診断できる点が興味深い。RECAP は同じ分解を推論の冗長性に向け、意味的依存グラフ上の下流役割と正答への寄与から段階ごとに信用を配り、Qwen2.5-Math-7B で pass@1 を 2.0〜3.7 ポイント上げつつ推論トークンを 8〜31% 削減する。一方で Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates は警告側に立ち、ツール結果のキャッシュが各ロールアウトの条件付き報酬分布を保ったままでも、グループ内で一つの確率的結果を共有すると group 正規化後の更新の期待符号が反転しうることを有限グループの厳密式で示す。出力の周辺的な正しさだけではキャッシュを学習等価と認定できない、という主張である。
推論の忠実性と内部構造
Capable yet Parsimonious(7 upvotes)は、閉じたシステムでは生の CoT が隠されているため能力向上の説明が検証できないという問題に対し、標準的な API 機能でカスタムツールを登録することで frontier モデルに推論を外在化させる。arXiv 側では Are Stated Reasoning Steps Causally Load-Bearing? が忠実性の測定を振る舞いから活性値へ移し、記述された各中間ステップのトークン位置で残差ストリームを反実仮想の実行からパッチする。Qwen3-4B では記述されたステップの 76.9%±2.8% が因果的に負荷を担い(無作為位置の帰無値 11.3%、プロンプト内の事実をパッチした場合 83%)、同一項目に対する標準的な振る舞い検査は 88.2% を返して因果的忠実性を 11.4 ポイント過大評価する。容易な項目では最大 20 ポイントに開く。Math Reasoning in LLMs is Organized by Approach, Not Topic は組織化の軸そのものを問い、活性重要度の署名を教師なしでクラスタリングして、8 モデル×5 出典の全 40 セルでランダム基準を上回ると報告する。トピック均衡を取った訓練コーパスでも推論アプローチについては不均衡が残りうる、という含意は評価設計にも跳ね返る。