DVAOが116 upvotesでGRPOの多報酬設定への拡張を提案し分散適応型アドバンテージ最適化でLLMアライメントを前進させた。Foundation Protocolが58 upvotesで自律エージェント間の協調標準を提示し、Macaron-A2UIが67 upvotesでエージェント向け動的UI生成を実現。推論効率化ではThriftAttentionがFP4混合精度で28 upvotes、思考の冗長性が61-93%に達することの理論的証明も注目される。
注目論文
DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning
著者: Guochao Jiang, Jingyi Song, Guofeng Quan et al.
GRPOを多報酬設定に拡張し、報酬間の分散差を動的に適応させるLLMアライメント手法を提案した研究（116 upvotes）。実世界のアライメントタスクでは複数の報酬関数（正確性・安全性・有用性等）を同時に最適化する必要があるが、既存のGRPOではこの設定に対応できなかった。
新規性: GRPOは単一報酬下では効率的なvalue-model-freeの代替手法として確立されているが、多報酬設定への適応は未解決だった。各報酬シグナルの分散が大きく異なるため、固定的な重み付けでは一部の報酬が支配的になり他の報酬が無視される問題が生じる。DVAOは報酬ごとのアドバンテージ分散を動的に推定・正規化することで、この不均衡を解消する。
手法: 各報酬関数に対するグループ相対アドバンテージを個別に計算し、分散の違いを動的に検出して適応的な正規化を行う。これにより、分散の大きい報酬が小さい報酬を圧倒する問題を防ぎつつ、全報酬の最適化を並行して進める。多報酬LLMアライメントの実験で既存手法を一貫して上回る性能を達成している。
Foundation Protocol: A Coordination Layer for Agentic Society
著者: Bang Liu, Yongfeng Gu, Jiayi Zhang et al.
自律エージェントが社会的インフラとして機能するための協調レイヤーを提案した研究（58 upvotes）。エージェントが閲覧・購入・ソフトウェアデプロイ・システム管理を行い、相互にやり取りする時代において、信頼構築・交渉・関係形成を可能にする標準化プロトコルの必要性を論じている。
新規性: エージェントの能力向上が進む一方で、ボトルネックはモデル能力からエージェント間の協調に移行しつつある。現行のエージェントシステムはそれぞれ独自のプロトコルで動作しており、異なるエージェント間の信頼性ある相互作用を保証する共通基盤が存在しなかった。Foundation Protocolはこのギャップを埋める初の体系的な協調レイヤーとして位置づけられる。
手法: エージェント間の関係形成、信頼構築、交渉、共同意思決定を支える構造化された相互作用プロトコルを設計する。30名以上の著者による大規模な共同研究であり、エージェント社会のスケーリングに必要な協調メカニズムを包括的にカバーしている。
Macaron-A2UI: A Model for Generative UI in Personal Agents
著者: Fancy Kong, Congjie Zheng, Murphy Zhuang et al.
パーソナルエージェントの対話コンテキストからUIコンポーネントをリアルタイムで動的生成するモデルを提案した研究（67 upvotes）。静的なプレーンテキストチャットがエージェントの複雑なタスク処理のボトルネックになっているという課題に対し、Generative UIを新たなインターフェースレイヤーとして位置づけている。
新規性: パーソナルエージェントが複雑なユーザ中心タスクを処理するにつれ、テキストベースのチャットインターフェースでは情報の提示・操作・状態管理が限界に達する。Generative UIはこの問題を解決する新しいパラダイムであり、対話の文脈から適切なコントロール、オプション、状態を動的に合成する。Macaron-A2UIはこの概念を実用的なモデルとして実現した初の研究である。
手法: 対話コンテキストを入力として、適切なUIコンポーネント（ボタン、リスト、フォーム等）をリアルタイムで生成するモデルを構築する。ユーザの意図とタスクの状態に応じてインターフェースが動的に変化し、テキストのみの対話では実現困難な構造化された情報提示と操作を可能にする。
Toward Native Multimodal Modeling: A Roadmap
著者: Siyu An, Junru Lu, Junnan Dong et al.
レイトフュージョン（エンコーダ+凍結言語バックボーン+出力ヘッドの組み立て）からネイティブマルチモーダルモデリングへの移行を体系化したロードマップ論文（31 upvotes）。マルチモーダルモデリングをモダリティ非依存の推論からワールドモデリングへの重要なステップとして位置づけている。
新規性: 初期のマルチモーダルアプローチはエンコーダと凍結言語モデルを後付けで結合するレイトフュージョンに依存していたが、近年のパラダイムはネイティブマルチモーダルモデリングへとシフトしている。本研究はこの移行を整理・体系化し、現状の課題と今後の方向性を包括的に示す初のロードマップを提供する。
手法: 既存のマルチモーダルモデリング手法をレイトフュージョンからネイティブ統合まで体系的に分類し、各アプローチの長所・短所・技術的課題を整理する。視覚・音声・テキスト等の異なるモダリティをアーキテクチャレベルで統合するための設計原則と研究の方向性を提示している。
ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning
著者: Zuhao Yang, Kaichen Zhang, Sudong Wang et al.
大規模マルチモーダルモデルのRL訓練において、映像処理ツール（クロッピング等）の並列呼び出しを実現した研究（29 upvotes）。既存のネイティブRL手法はツール呼び出しを逐次的（1ターンに1回）に行うため、1回の誤ったクロップがカスケード的な失敗を引き起こす問題があった。
新規性: 長時間映像理解のためにRLでツール呼び出しを学習させるアプローチは有望だが、逐次的なツール呼び出しは「ツール事前分布のパラドックス」を生じさせる。モデルがツールの使い方に過度に依存すると、ツール選択の1つのミスが後続の全判断を歪める。ParaVTは並列ツール呼び出しによりこの連鎖的失敗を防ぐ。
手法: 1ターンで複数の映像処理ツールを並列に呼び出す機構を導入し、逐次呼び出しによるエラー伝播を回避する。RL訓練時にツールの並列使用パターンを学習させることで、長時間映像の効率的な処理と理解を実現している。
QUEST: Training Frontier Deep Research Agents with Fully Synthetic Tasks
著者: Jian Xie, Tianhe Lin, Zilu Wang et al.
完全合成タスクのみで訓練したオープンなディープリサーチエージェント群（2B〜35B）を公開し、フロンティア商用モデルに匹敵する性能を達成した研究（28 upvotes）。事実探索・引用根拠付け・レポート合成の幅広い能力を持つ汎用ディープリサーチエージェントの構築方法を示している。
新規性: フロンティアのディープリサーチシステムはプロプライエタリのままであり、既存のオープンエージェントはタスクタイプ間の汎化が不十分だった。QUESTは統一的なルーブリックツリーに基づく合成データパイプラインにより、人手アノテーションなしで検証可能な報酬付き訓練データを生成し、わずか8Kの合成タスクでフロンティアモデルに迫る性能を実現する。
手法: 中間訓練・教師あり微調整・強化学習を組み合わせた訓練レシピを提案する。統一ルーブリックツリーから異なるタスクタイプに適用可能な合成データを生成し、組み込みのコンテキスト管理機構により長期的な推論と知識統合を実現する。8つのディープリサーチベンチマークでオープンウェイトモデル中最高の総合性能を達成。モデル・データ・訓練スクリプトを全て公開している。
ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention
著者: Joe Sharratt
Blackwell GPU上でFP4精度のアテンション計算における品質低下を、選択的混合精度により解決する長文脈推論効率化手法（28 upvotes）。ブロックスケール量子化によるFP4アテンションは推論を高速化するが、精度劣化が問題となっていた。
新規性: 先行研究はBlackwell GPU上のブロックスケール量子化でアテンション計算を4ビット精度に移行することで推論を高速化したが、この手法は精度劣化を引き起こす。ThriftAttentionは全ブロックを一律にFP4で計算するのではなく、精度が重要なブロックを選択的に高精度で計算する混合精度戦略を導入する。
手法: アテンション計算の各ブロックについて、FP4精度で十分なブロックと高精度が必要なブロックを動的に判定し、選択的に精度を切り替える。これにより、FP4の速度メリットを最大限活かしつつ、精度が重要な箇所での品質低下を防ぐ。長文脈ワークロードにおけるアテンションの二次コスト問題に対する実用的な解決策を提供している。
CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents
著者: Bowen Wang, Dunjie Lu, Junli Wang et al.
コンピュータ操作エージェント（CUA）向けに、決定論的報酬を持つスケーラブルな訓練環境を構築した研究（15 upvotes）。RLVRは数学やツール使用では大きな進展を見せているが、CUAへの拡張は検証可能な報酬付きスケーラブル訓練データの不足がボトルネックとなっていた。
新規性: CUA向けのRLVR訓練は、決定論的報酬を持つ大規模訓練データの構築が極めて困難であるため停滞していた。既存の環境は限定的なタスクセットに留まり、実世界のコンピュータ操作の多様性をカバーできていなかった。CUA-Gymはこのデータ不足問題に対する体系的な解決策を提供する。
手法: 多様なコンピュータ操作タスクに対して決定論的に報酬を計算可能な訓練環境を設計し、タスクと環境のスケーリング手法を提案する。これによりCUAのRLVR訓練に必要な大規模で検証可能なデータセットの構築を可能にしている。
How Much Thinking is Enough? Quantifying and Understanding Redundancy in LLM Reasoning
著者: Zhiyuan Zhai, Xinkai You, Wenjing Yan et al.
推論モデルのステップレベル冗長性が61〜93%に達することを大規模に定量化し、この冗長性が長さ非依存の結果報酬の構造的帰結であることを数学的に証明した研究。4つのフロンティア推論モデルと2つの数学ベンチマークで検証している。
新規性: 推論モデルの長い思考連鎖には大量の再定式化・検証・循環的自己反省が含まれるが、その冗長性は定量的に測定されていなかった。本研究は「正しいトレースの何割を切り捨てても正答を維持できるか」として冗長性を形式化し、8条件中6条件で中央値のクリティカルプレフィックスがわずか1セグメントステップであることを発見した。
手法: 正しい推論トレースの末尾セグメントを段階的に切り捨て、強制的に最終回答を出力させた場合の正答維持率を測定する。さらに、長さ非依存の結果報酬の下では有限の期待停止時間が最適にならないことを証明し、過剰思考がモデル固有のバグではなく訓練パラダイムの構造的性質であることを理論的に示している。
Language Models Need Sleep
著者: Sangyun Lee, Sean McLeish, Tom Goldstein et al.
Transformerに睡眠的な統合メカニズムを導入し、最近のコンテキストを持続的なfast weightsに変換することでアテンション長の問題を緩和する研究（6 upvotes）。長期的なタスクでのアテンション機構のスケーリング問題に対する生物学的着想からのアプローチである。
新規性: Transformer型LLMは長期タスクへの利用が増加しているが、アテンション機構はコンテキスト長に対してスケーリングが悪い。本研究は生物の睡眠中の記憶統合プロセスに着想を得て、モデルが定期的に最近のコンテキストを持続的なfast weightsに変換する「睡眠的統合」メカニズムを提案する。
手法: デコード中に定期的にコンテキスト情報をfast weightsに統合するメカニズムを導入し、アテンションウィンドウを超えた情報の保持を可能にする。これにより、コンテキスト長の増大に伴うアテンションのコスト増加を抑制しつつ、長期的な情報活用を実現する。
分野別の動向
LLMアライメント・強化学習
DVAO（116 upvotes）が多報酬設定でのGRPO拡張を確立し、LLMアライメントの実用化における重要な技術的ギャップを埋めた。同日のarXiv cs.LGではDirectional Alignmentがreward hackingの幾何学的理解に基づく緩和策を提案し、ClaimDiff-RLが画像キャプションのRL訓練で視覚的主張レベルの細粒度報酬を導入している。前回レポートのEDRM（推論戦略の適応的選択）が推論時の効率化に注力したのに対し、今回は訓練時の報酬設計と最適化の精緻化に焦点が移っている。単一報酬から多報酬への移行は、実世界のアライメント要件の複雑さに対応する必然的な進化である。
エージェント・協調基盤
Foundation Protocol（58 upvotes）とMacaron-A2UI（67 upvotes）が、エージェントの「能力」から「協調」と「インターフェース」への研究の重心移動を示している。同日のarXivではDRIVEがWebエージェントの推論・操作スキルの二層モデリングを提案し、Stop Comparing LLM Agents Without Disclosing the Harnessがエージェント評価におけるハーネス依存性の問題を指摘した。前回のSkillOptがスキル最適化という個体レベルの改善に注力したのに対し、今回はエージェント間の相互作用とユーザインターフェースというシステムレベルの課題が前面に出ている。CUA-GymによるRLVR訓練環境の整備と合わせ、エージェント研究が単体性能から生態系全体の設計へと成熟していることが明確である。
推論効率化・長文脈処理
ThriftAttention（28 upvotes）がFP4混合精度でハードウェアレベルの効率化を追求し、Language Models Need Sleepが生物学的着想から長文脈問題にアプローチしている。How Much Thinking is Enoughは推論の冗長性が61-93%に達することを示し、長さ非依存報酬の構造的帰結であることを証明した。前回のEDRMが「いつCoTを使うか」という推論時の選択問題を扱ったのに対し、今回は「そもそも思考の大部分が不要」という根本的な問題提起と、ハードウェア・アーキテクチャレベルでの対策が並行して進んでいる。過剰思考が訓練パラダイムの構造的性質であるという理論的結果は、推論モデルの設計思想に再考を迫る重要な知見である。
マルチモーダル・ツール統合
Toward Native Multimodal Modeling（31 upvotes）がレイトフュージョンからネイティブ統合へのロードマップを体系化し、ParaVT（29 upvotes）が映像理解におけるツール並列呼び出しを実現した。同日のChannel-wise Vector Quantization（11 upvotes）は画像トークン化の新パラダイムを提案し、WBench（88 upvotes）がインタラクティブワールドモデルの包括的評価基準を確立した。マルチモーダル研究はモダリティの単純な結合から、アーキテクチャレベルでの統合設計とツール活用の最適化へと進化しつつある。
ディープリサーチ・科学的発見
QUEST（28 upvotes）が合成タスクのみで訓練したオープンなディープリサーチエージェントを公開し、arXiv cs.CLではSteER（An Interactive Paradigm for Deep Research）がユーザ制御可能なディープリサーチの対話的パラダイムを提案した。前回のSciAtlas（学術知識グラフ）が情報検索基盤の構築に注力したのに対し、今回は検索から統合・報告までの長期的ワークフロー全体をエージェントが自律的に遂行する能力の構築が焦点となっている。QUESTの合成タスクベースの訓練が8Kタスクでフロンティアモデルに迫る性能を達成した点は、ディープリサーチエージェントの民主化に向けた重要な一歩である。