AEPOが71 upvotesでVLMエージェント推論の思考-行動非対称性をRL で解消し、DenoiseRLとBidirectional Evolutionary Searchが教師モデル不要の自己改善を推進。MemTraceとRethinking Memoryがエージェントメモリの動的追跡・進化設計を開拓した。
注目論文
Agent Explorative Policy Optimization for Multimodal Agentic Reasoning
著者: Minki Kang, Shizhe Diao, Ryo Hachiuma et al.
VLMのエージェント推論において、内部的な思考（thinking）と外部ツール使用（acting）の構造的非対称性を解消する強化学習手法を提案し、マルチモーダルエージェントタスクで大幅な性能向上を達成した研究（71 upvotes）。
新規性: 拡張推論を持つVLMは複雑な問題で成功しているが、現実の多くの問題は外部ツールを必要とし、内部推論だけでは解決できない。エージェント推論は思考（自己完結的なデフォルト）と行動（ツール呼び出し）という2つの振る舞いを交互に行うが、この構造的非対称性により、モデルは行動よりも思考に偏りやすい。本研究はこの非対称性を明示的に扱い、行動空間の探索を促進するRL手法を初めて提案する。
手法: エージェント推論における思考と行動の非対称性を認識し、行動（ツール使用）の探索を積極的に促進するポリシー最適化を設計する。思考は自己完結的であるため容易にサンプリングできる一方、行動は環境とのインタラクションを伴うため探索コストが高い。この差異に対応した探索戦略により、マルチモーダルエージェントタスクで既存手法を大幅に上回る性能を実現している。
Self-Improving Language Models with Bidirectional Evolutionary Search
著者: Guowei Xu, Zhenting Qi, Huangyuan Su et al.
best-of-Nサンプリングやツリー探索の根本的限界を克服する双方向進化探索を提案し、LLMの自己改善とテスト時推論スケーリングの両方で有効性を実証した研究（44 upvotes）。
新規性: 広く使われるbest-of-Nとツリー探索には2つの根本的限界がある。(1) 検証信号が疎であり中間ステップの改善方向を示せない、(2) 探索が前方向のみで、有望だが部分的に誤った推論パスの修正ができない。双方向進化探索はこれらの限界を同時に解消する初の枠組みであり、前方向の生成と後方向の修正を組み合わせて解空間を効率的に探索する。
手法: 進化的アルゴリズムに着想を得て、前方向の生成（突然変異に相当）と後方向の修正（交叉に相当）を双方向に実行する。疎な検証信号しかない状況でも、部分的に正しい推論パスから有用な断片を抽出・再結合し、高品質な解を生成する。ポストトレーニングのサンプル生成と推論時スケーリングの両方で、既存手法を上回る性能を達成している。
DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes
著者: Caijun Xu, Changyi Xiao, Zhongyuan Peng et al.
ノイズを含むプレフィックスからの回復能力を強化学習で獲得させる手法を提案し、教師モデルや困難データセットへの依存なしにLLMの推論能力を向上させた研究（39 upvotes）。
新規性: 既存のRL手法はLLMの推論能力向上に有効だが、より強い教師モデルや厳選された困難データセットに依存しており、スケーラブルな能力向上に限界がある。DenoiseRLは発想を転換し、モデル自身が生成したノイズ付きプレフィックス（部分的に誤った推論の途中経過）からの回復能力を訓練することで、外部リソースなしに推論能力を自己ブートストラップする。
手法: モデルが生成した推論トレースにノイズ（誤りや不正確さ）を意図的に含むプレフィックスを構築し、そこからの回復を報酬とする強化学習を行う。ノイズからの回復過程でモデルは誤りの検出・修正能力を獲得し、結果として推論全体の品質が向上する。教師モデルや困難データセットのキュレーション不要という実用的利点が大きい。
GEM: Generative Supervision Helps Embodied Intelligence
著者: Ruowen Zhao, Bangguo Li, Zuyan Liu et al.
テキスト指導型事前学習とロボット操作に必要な低レベル制御の意味ギャップを生成的監督で埋め、embodied VLMの性能を大幅に向上させた研究（34 upvotes）。
新規性: Embodied VLMはVision-Language-Actionフレームワーク内で印象的な性能を示しているが、標準的なテキスト指導型事前学習パラダイムが高レベルの意味的焦点に偏っており、ロボット操作に必要な低レベルの視覚的・空間的詳細との間に大きなギャップが存在する。GEMはこのギャップを生成的監督という新たなパラダイムで橋渡しする初の試みである。
手法: テキストベースの監督に加えて、画像生成タスクを補助的な監督信号として導入する。モデルが操作対象の視覚的詳細を生成的に再構成する過程で、低レベルの空間的・物理的特徴の理解が強化される。この生成的監督により、テキストのみの監督では獲得困難な細粒度の視覚的理解がembodied VLMに内在化される。
MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems
著者: Xinle Deng, Ruobin Zhong, Hujin Peng et al.
LLMメモリシステムにおけるエラーの動的伝播を追跡・帰属する初のフレームワークを提案し、情報が時間経過とともにどのように合成・伝播・劣化するかを可視化した研究（33 upvotes）。
新規性: メモリはLLMの長期的推論を支える不可欠な要素だが、既存のメモリシステムは信頼性が低くデバッグが困難である。メモリの動的な進化を追跡することは、情報がどのように統合・伝播・または破損するかを理解する上で重要だが、これまで体系的に取り組まれていなかった。MemTraceはメモリエラーの発生源と伝播経路を初めて追跡可能にする。
手法: メモリシステム内の情報フローを時系列的に追跡し、各メモリ操作（書き込み、読み出し、統合）がエラーの発生・伝播にどのように寄与するかを帰属分析する。これにより、特定のエラーがどの時点のどの操作に起因するかを特定でき、メモリシステムの信頼性向上に直結する診断情報を提供する。
Learn from Weaknesses: Automated Domain Specialization for Small Computer-Use Agents
著者: Suji Kim, Kangsan Kim, Sung Ju Hwang
小型のコンピュータ操作エージェント（CUA）のドメイン固有の弱点を自動診断し、ドメイン特化の学習を自動化する手法を提案した研究（32 upvotes）。大型モデルなしでのドメイン適応を実現する。
新規性: CUAは進歩しているが、ソフトウェアドメインごとに大型の専門モデルをデプロイするのはコストが高い。小型のオープンCUAは実用的な特化対象だが、性能が大幅に劣り、ドメイン固有の弱点が不均一に分布している。本研究はこの弱点の不均一性を逆手に取り、弱点の自動診断→特化学習のパイプラインを構築する初のアプローチである。
手法: 小型CUAの各ドメインにおける弱点を自動的に診断し、弱点に集中した特化学習データを生成・訓練する。弱点の診断は大型モデルの推論結果との比較ではなく、タスク実行の成否パターンから直接抽出するため、大型モデルへの依存を排除している。
ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence
著者: Rui Meng, Bhavana Dalvi Mishra, Jiefeng Chen et al.
自律研究エージェントが生成する出力に含まれる検証可能性の問題（捏造引用、再現不能スコア、実装と乖離した手法記述）をChain-of-Evidenceで解決する枠組みを提案した研究（29 upvotes）。
新規性: 自律研究エージェントは競争力のあるソリューションとプロフェッショナルな論文を生成するが、その出力には表面的な評価では検出できない検証可能性の失敗が含まれる。捏造された引用、再現不能なスコア、実装と乖離した手法記述などである。これらの問題を体系的に検出・解決するフレームワークは存在しなかった。
手法: Chain-of-Evidenceにより、研究エージェントの各主張を証拠の連鎖で裏付けることを要求する。引用の実在性、スコアの再現可能性、手法記述と実装の一致性を段階的に検証し、検証可能性が確保された出力のみを最終結果として採用する。
Rethinking Memory as Continuously Evolving Connectivity
著者: Jizhan Fang, Buqiang Xu, Zhixian Wang et al.
LLMエージェントのメモリを静的なリポジトリではなく、動的に進化するグラフ接続として再定義し、動的なエージェント環境での適応性を大幅に向上させた研究（19 upvotes）。
新規性: 既存のメモリ拡張LLMエージェントはメモリを事前定義された表現と固定的な検索パイプラインを持つ静的リポジトリとして扱うが、フィードバック、タスクの変化、異種の信号が記憶すべき内容を継続的に再形成する動的環境では脆弱である。本研究はメモリを継続的に進化する接続性として捉え直す根本的な設計転換を提案する。
手法: メモリノード間の接続を動的に更新するグラフ構造を採用し、新しい情報やフィードバックに応じてメモリの構造自体が進化する。固定的な検索パイプラインではなく、文脈に応じて接続の重みや構造が変化するため、動的環境での情報の関連性維持と不要情報の減衰が自然に実現される。
Triplet-Block Diffusion RWKV
著者: Ke Lin, Yiyang Luo, Zhaolong Su et al.
因果Transformerの逐次デコーディングと二次アテンションコストの課題を、線形時間因果モデルと離散拡散モデルを整合的に統合する新アーキテクチャで解決した研究（18 upvotes）。
新規性: 因果Transformer言語モデルは逐次デコーディングとトークンあたり二次コストのアテンションに制約される。線形時間因果モデルと離散拡散モデルはそれぞれこれらの弱点に対処するが、両者の統合は本質的に矛盾する。拡散は双方向アテンションを必要とするが、因果モデルは単方向である。Triplet-Block Diffusion RWKVはこの矛盾を解消する初のアーキテクチャである。
手法: RWKVの線形時間因果アーキテクチャをベースに、離散拡散のための双方向情報フローを3つのブロック構造（Triplet-Block）で実現する。因果的な文脈理解と拡散的な並列生成を同一モデル内で両立させ、逐次デコーディングの速度制約と二次アテンションコストの両方を回避する。
Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders
著者: Yi Jing, Zao Dai, Jinwu Hu et al.
Sparse Autoencoderでモデル内部信号を抽出し、LLMのポストトレーニングにおけるデータエンジニアリングを外部信号ではなく内部表現ベースで最適化するフレームワークSAERLを提案した研究（12 upvotes）。
新規性: モデル内部はLLMが訓練データをどのように処理するかについて豊富な情報を符号化しているが、ポストトレーニングのデータエンジニアリングは主に外部信号に依存し、内部に埋め込まれた豊かな情報を無視してきた。SAERLはSparse Autoencoderを用いてモデル内部の信号を抽出可能な形で取り出し、データ選択・構成に活用する初のフレームワークである。
手法: Sparse Autoencoderでモデルの中間層から意味的に解釈可能な特徴を抽出し、各訓練サンプルがモデル内部でどのように処理されるかを分析する。この内部信号に基づいて、ポストトレーニングに最適なデータの選択・重み付け・構成を決定する。外部のヒューリスティクスやプロキシメトリクスに頼らない、モデル駆動型のデータエンジニアリングを実現している。
分野別の動向
エージェント推論・強化学習
AEPO（71 upvotes）がVLMエージェントの思考-行動非対称性という構造的問題をRL で直接解消し、DenoiseRL（39 upvotes）がノイズプレフィックスからの回復という新たな自己改善パラダイムを提示した。Bidirectional Evolutionary Search（44 upvotes）はbest-of-Nとツリー探索の根本的限界を進化的アルゴリズムで克服する。前回レポートのEfficient Agentic RLがツール使用の知識境界問題を特定したのに対し、今回は推論プロセス自体の構造的改善が焦点であり、エージェントRLが単なる報酬最大化から推論アーキテクチャの設計問題へと深化している。3研究に共通するのは外部教師や人手データへの依存を排除する方向性であり、自己改善型RLの実用化が加速している。
エージェントメモリ・長期運用
MemTrace（33 upvotes）とRethinking Memory as Continuously Evolving Connectivity（19 upvotes）が、エージェントメモリの信頼性と適応性という2つの側面から同時に研究を進めた。MemTraceはメモリエラーの追跡・帰属という診断的アプローチ、Rethinking Memoryは静的リポジトリから動的グラフへの設計転換という構築的アプローチであり、相互補完的である。同日のHF Daily PapersではRethinking How to Remember（9 upvotes）も原子的事実ベースのメモリパラダイムの限界を指摘しており、Your Agents Are Aging Too（10 upvotes）がデプロイ後のエージェント劣化を測定するAgingBenchを導入した。前回のPersonalize-then-Storeがメモリのパーソナライズ問題を定式化したのに続き、今回はメモリの動的進化・エラー追跡・劣化測定と多角的な研究が同時に出現しており、エージェントメモリ研究が急速に成熟期に入っている。
マルチモーダル・ロボティクス
GEM（34 upvotes）がテキスト指導型事前学習と低レベル操作の意味ギャップを生成的監督で埋める新パラダイムを提示した。同日のHF Daily PapersではGUI-CIDER（16 upvotes）がGUIエージェントのミッドトレーニングにおける世界知識の欠如を因果的内在化で解消し、Fast-dDrive（15 upvotes）がブロック拡散VLMによる自動運転の効率的推論を実現した。前回のLLaVA-OneVision-2がエンコーダとアテンションの効率化に注力したのに対し、今回は事前学習パラダイム自体の転換（テキスト監督→生成的監督）とドメイン特化（GUI操作、自動運転）の2方向が同時に進展している。
LLMアーキテクチャ・効率化
Triplet-Block Diffusion RWKV（18 upvotes）が因果モデルと離散拡散の本質的矛盾を解消する新アーキテクチャを提案し、SAERL（12 upvotes）がモデル内部信号によるデータエンジニアリングの最適化を実現した。arXiv cs.CLではFLUID（AR to Diffusion）が自己回帰モデルから拡散モデルへの効率的適応を提案し、EvoSpecがspeculative decodingのリアルタイム進化を実現した。arXiv cs.LGではHurwitz Quaternion Multiplicative Quantizationがキャリブレーション不要のKVキャッシュ圧縮で最大5.05倍の圧縮を達成した。前回のMiniMax-M2がMoEの実用的スケーリングに注力したのに対し、今回は自己回帰と拡散の融合（Triplet-Block, FLUID）という新たなアーキテクチャ方向と、モデル内部理解に基づく訓練最適化（SAERL）が目立つ。
安全性・信頼性
ScientistOne（29 upvotes）が自律研究エージェントの検証可能性問題を体系的に解決し、Learn from Weaknesses（32 upvotes）が小型CUAのドメイン特化を自動化した。同日のarXivではLCO（LLM-based Constraint Optimization）がin-context reward hackingの緩和を提案し、TRACES がマルチターンエージェントの軌跡レベル安全性監視を実現した。またThe Fragility of Chain-of-Thought Monitoring（7 upvotes）がCoTモニタリングの多言語脆弱性を指摘し、Models That Know How Evaluations Are Designed（4 upvotes）がモデルの評価認識による行動変化を検出した。前回のD²-Monitorが拡散型LLMの安全性検出を開拓したのに対し、今回は研究エージェントの出力検証（ScientistOne）とエージェントの長期運用信頼性（Learn from Weaknesses）という、より実運用に近い安全性課題に焦点が移っている。