エージェント向けメモリをデータ管理システムとして捉え直す調査が最多注目を集め、双方向拡散の8B言語モデルiLLaDAが自己回帰モデルに匹敵。経験学習・テスト時スケーリング・長文脈高速化・解釈性まで、基盤と効率の研究が幅広く並んだ。
注目論文
Are We Ready For An Agent-Native Memory System?
著者: Wei Zhou, Xuanhe Zhou, Shaokun Han et al.
LLMエージェントの記憶が、単純な検索拡張機構から、永続的な情報の保存・検索・更新・統合・動的なライフサイクル管理までを担うデータ管理システムへと急速に進化していることを論じた調査（87 upvotes）。本日の論文群で最も注目を集めた。
新規性: エージェントの記憶を「RAG的な検索機構」ではなく「エージェント・ネイティブなデータ管理システム」として捉え直し、実行を通じた情報のライフサイクル統治という観点から体系化した点が貢献である。
手法: 永続的な情報ストレージ、検索、更新、統合、動的なライフサイクル管理という機能群を軸に、エージェント実行全体を貫く記憶機構の進化を整理し、今後求められるシステム要件を展望する。
Improved Large Language Diffusion Models
著者: Shen Nie, Qiyang Min, Shaoxuan Xu et al.
完全双方向注意を持つ8Bのmasked diffusion言語モデル iLLaDA をスクラッチから学習した研究（29 upvotes）。現代のLLMが自己回帰分解と因果注意で訓練されるのに対し、非自己回帰な拡散学習が強い言語モデルへの競争力ある道筋になりうることを示す。
新規性: masked diffusion目的を事前学習からSFTまで一貫して保ち、事前学習を12Tトークン、25Bトークンの指示コーパスで12エポックの微調整までスケールさせた点が新しい。可変長生成と多肢選択評価向けの信頼度ベーススコアリングも導入した。
手法: LLaDA比でBBH +21.6点・ARC-Challenge +14.9点（Base）、MATH +14.5点・HumanEval +16.5点（Instruct）と幅広く改善し、非自己回帰学習ながらQwen2.5 7Bと複数ベンチで競合する。
Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning
著者: Shiding Zhu, Yudi Qi, Yajie Wang et al.
経験駆動の自己進化はLLMエージェントが開かれた世界の相互作用を通じて改善するために重要だが、既存手法の多くは単一エージェントのループに依存していた（48 upvotes）。同一エージェントがタスク実行・結果要約・記憶内容決定を兼ねることに伴う自己確認バイアスを問題視する。
新規性: 実行（Execute）・蒸留（Distill）・検証（Verify）に役割を分離するパラダイムを導入し、単一エージェントループに内在する自己確認の罠を排した点が新しい。
手法: 同一エージェントが自己完結的に経験を要約・記憶する従来の構成を、実行と蒸留と検証の分業へと組み替えることで、経験学習の信頼性を高める。
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
著者: Lianghua Huang, Zhifan Wu, Wei Wang et al.
言語・音声・映像を単一Transformerで入出力する、ネイティブストリーミング型でエンドツーエンドの対話基盤モデル（40 upvotes）。リアルタイム・低遅延・フルデュプレックスの音声映像対話のために、ゼロから設計されている。
新規性: 言語・音声・映像を入力にも出力にも同一のTransformerでシームレスにモデル化し、低遅延の全二重インタラクションを実現する設計を一貫して採る点が新しい。
手法: ネイティブストリーミングのエンドツーエンド構成により、音声と映像をまたぐリアルタイム対話を単一モデルで処理し、低遅延・フルデュプレックスの相互作用を可能にする。
Critique of Agent Model
著者: Eric Xing, Mingkai Deng, Jinyu Hou
「エージェントとは何か」「エージェンシーとは何か」を問い、コーディングエージェントやAI共同科学者といった「エージェント的」ツールの台頭を踏まえて、自動化と主体性の境界を明確化しようとする論文（16 upvotes）。
新規性: エージェント・アーキテクチャを目標・同一性・意思決定・自己制御・学習の5次元で分析し、外部足場に依存する agentic システムと、能力が内発的に立ち上がる agentive システムを区別した点が核心である。
手法: デカルトの独立した思考に基づく主体性の定位とSFの自律的存在像を手がかりに現状のAIエージェントを俯瞰し、階層的目標分解・同一性進化・世界モデルに基づくシミュレーティブ推論・学習された自己制御を組み合わせるGoal-Identity-Configurator（GIC）汎用エージェント構成を提案する。
Evidence for feature-specific error correction in LLMs
著者: Francisco Ferreira da Silva, Stefan Heimersheim
LLMが次元数を超える特徴を重ね合わせ（superposition）で表現するだけでなく、重ね合わせの中で計算を行っている可能性を、活性摂動の実験から検証した研究。重ね合わせ下の計算には特徴方向を一般方向より優遇する誤り訂正が必要だという理論予測を、初めて経験的にテストする。
新規性: 残差ストリームの活性が小さな摂動に頑健な「活性プラトー」を形成し、混合方向より「純粋な」特徴方向に沿って脆弱であることを示し、特徴特有の誤り訂正の存在を実証した点が貢献である。
手法: 摂動効果をその分解の$L^p$ノルムの関数としてモデル化し、対照・MELBO・SAEデコーダ方向で$p>2$、ランダム・PCA方向で$p\approx2$を確認。Gemma-2-9B・Qwen3-1.7B・Llama-3.1-8Bなど6つのLLMで再現し、既知の真の特徴方向を持つトイモデルでも$p>2$を回収した。
Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning
著者: Tianyuan Shi, Canbin Huang, Bei Li et al.
強モデルから弱モデルへ推論能力を蒸留する従来手法が、特定の解軌跡を模倣することで「何を答えるか」を転移しがちで、インスタンス固有の手順を記憶し汎化を妨げる点を問題視した研究。
新規性: インスタンスレベルの軌跡模倣を、再利用可能な戦略蒸留（SGPO）へと置き換えた点が新しい。強モデル応答から構造化された戦略記述を抽出し、各問題で自律的軌跡と戦略誘導軌跡を構築して直接比較する。
手法: トークンレベルの順KL目的が戦略条件付けによる分布シフトを選択的に転移し、近接制約で安定化。自律探索が不十分なときに誘導を強め、能力向上に伴い弱めるインスタンス適応重みも導入。4つの数学ベンチで、Qwen2.5-7B-Instructにて最強ベースライン比 平均+2.2点を達成した。
Dustin: Draft-Augmented Sparse Verification for Efficient Long-Context Generation with Speculative Decoding
著者: WenHung Lee, Jian-Jia Chen, Xiaolin Lin et al.
投機的デコーディングは多バッチ長文脈LLMのスループットを改善するが、KVキャッシュ読み込みが支配する検証ボトルネックに効率が縛られていた。静的退避は精度低下、動的選択は検証経路で過大な計算オーバーヘッドを生む。
新規性: ドラフトモデルの先読み信号と標的モデルの履歴的注意を統合し、多段検証ウィンドウにわたって重要トークンを高い忠実度で特定する疎検証フレームワークを提案した点が新しい。
手法: 重要度スコアリングを最小限の注意ヘッド部分集合に制限する疎推定で再計算遅延を削減。PG-19とLongBench、Qwen2.5-72Bで、32k系列長にてself-attention 27.85倍・エンドツーエンド 9.17倍の高速化を、精度劣化をほぼ無視できる範囲で達成した。
Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing
著者: Yutong Yin, Mingyu Jin, Jin Pan et al.
テスト時スケーリングは言語モデルの推論を改善するが、長いCoTサンプリングは単線的、文・解レベルの探索は計算コストが高く端から端まで学習しにくいというトレードオフを抱えていた。
新規性: トークンレベルで小さな局所先読み木を展開し、軽量なルータで commit する depth-1 部分木を選ぶLocal Branch Routing（LBR）を導入した点が新しい。離散的な分枝の同一性を保ちつつ、検証可能報酬による端から端までのRL（RLVR）を可能にする。
手法: prune-shift-grow デコーディングで扱いやすい木軌跡尤度を定義し、ベースモデルとルータを同一の尤度比原理で同時最適化。数学推論ベンチでPass@1とPass@32を、離散CoT・素朴な離散トークンRLVR・ソフトトークン分枝ベースラインに対して改善した。
Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models
著者: Cosimo Galeone, Anna Ettorre, Minsu Park et al.
機構的解釈性の中心的な期待である「制御可能性」、すなわち振る舞いが活性のどこに表現されるか分かれば修正もできるという暗黙の前提を、幾何学的に検証した研究。振る舞いを最もよく検出する方向と最もよく引き起こす方向の角度を測る。
新規性: 検出方向と制御方向の cos を測定し、「検出は制御である」という前提が成り立つ場合と成り立たない場合を切り分けた点が新しい。幻覚の検出は層5からAUC 1.000の完全な線形分離が可能でも、拒否を生む方向とは cos = 0.12（約83度）と大きく乖離する「検出-介入ギャップ」を定量化した。
手法: 3つのファミリー・1B〜9Bの4モデルでギャップが cos ∈ [0.12, 0.20] と一貫し、指示チューニング前後で不変（0.1197 対 0.1200）であることから、その起源を事前学習に位置づける。さらにこの cos が操作可能性を予測しないことを示し、検出が単一方向ではなく高次元のクラスである点を明らかにした。
分野別の動向
エージェントの記憶・経験・主体性
本日はエージェントを支える基盤論が前面に立った。Are We Ready For An Agent-Native Memory System?（87 upvotes）は記憶を保存・検索・更新・統合・ライフサイクル管理まで担うデータ管理システムへと捉え直し、Escaping the Self-Confirmation Trap（48 upvotes）は実行・蒸留・検証の分業で単一エージェントループの自己確認バイアスを排した。Critique of Agent Model は agentic と agentive を区別し主体性の境界を問う。前回のQwen-AgentWorldやMetisが示した「世界モデル・記憶表現」の流れを受け、本日は記憶のシステム化と経験学習の信頼性、そして主体性の概念整理へと議論が深まっている。
拡散LLM・対話基盤モデル
Improved Large Language Diffusion Models（iLLaDA, 29 upvotes）は完全双方向の8B masked diffusionをスクラッチ学習し、数学・コード・一般ベンチで自己回帰モデルに匹敵することを示した。Wan-Streamer v0.1（40 upvotes）は言語・音声・映像を単一Transformerで入出力する低遅延フルデュプレックスの対話基盤を提示。自己回帰一辺倒を離れた基盤モデルの設計多様化が、生成と対話の両面で進んでいる。
推論の効率化・テスト時スケーリング
Beyond Trajectory Imitation（SGPO）は軌跡模倣を戦略蒸留に置き換えてQwen2.5-7Bで+2.2点、Local Branch Routing（LBR）はトークンレベルの局所分枝で学習可能なテスト時スケーリングを実現した。推論経路をDustin が疎検証で長文脈speculative decodingを最大27.85倍高速化する。推論を「より賢く・より速く」する方向が、訓練側（戦略・分枝）と推論側（疎検証）の双方から攻められている。
解釈性・制御の幾何学
Evidence for feature-specific error correction（$p>2$を6モデルで再現）は重ね合わせ下の計算が特徴特有の誤り訂正を伴う証拠を示し、Perfect Detection, Failed Control は検出方向と制御方向の cos を測って「知ること」と「操ること」の乖離を定量化した。いずれも残差ストリームの幾何学に踏み込み、表現の頑健さと操作可能性が必ずしも一致しないことを明らかにしている。