線形注意のリカレント状態量子化STEPQuantが99 upvotesで最多となり、ワールド・アクションモデルの文脈拡張Long-WAMが続いた。オンポリシー蒸留が崩壊する仕組みの分析や、経験から自己改善するエージェントの研究も多く出た。
注目論文
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
著者: Bingchen Yao, Haobo Xu, Haokun Lin et al.
線形注意は、長さに応じて増える KV キャッシュの代わりに固定サイズのリカレント状態を使う（99 upvotes、本日最多）。ただし多数のリクエストを同時に処理すると、この状態自体がメモリのボトルネックになる。本研究は、デルタ則で更新されるリカレント状態を低ビットに量子化する方法を扱う。
新規性: リカレント状態をそのまま低精度に量子化すると、精度が大きく落ちることが多い。量子化誤差が状態の更新を通じて後の時刻に伝わっていくためである。本研究はタイトルが示すとおり、誤差が「いつ」「どこで」効いてくるかを特定し、その分析に基づいて量子化を設計する。
手法: デルタ則リカレント状態のなかで誤差の影響が大きい時点と位置を分析し、量子化の扱いを変える（詳細は本文を参照）。
Long-WAM: Scaling the Context of World-Action Models
著者: Wei Huang, Bohan Zhang, Chenzhi Liu et al.
ロボットをリアルタイムに制御するには、動きやタスクの進み具合を推定できるだけの視覚履歴が必要になる（88 upvotes）。一方で、その履歴を処理する時間が長いと行動が遅れる。Long-WAM は、因果的なワールド・アクションモデル（WAM）のコンテキストを、リアルタイム制御の制約を守りながら拡張する枠組みである。
新規性: モデルの設計とシステム側の実装を一体で扱い、「長い履歴を使いたい」と「行動を遅らせられない」という相反する要求を同時に満たそうとする点が中核である。著者には Song Han、Linxi Fan、Sifei Liu らが名を連ねる。
手法: 因果的 WAM の視覚履歴の扱いをモデル・システムの両面から設計し直す（中心となる知見を含め、詳細は本文を参照）。
Gains and Collapse in On-Policy Distillation: A Reinforcement Learning Perspective
著者: Han Cui, Jianhao Yan, Yun Luo et al.
オンポリシー蒸留（OPD）は言語モデルの後学習の重要な手法になった（27 upvotes）。しかし性能が上がる一方で、極端に長く反復的な生成に崩壊する場合もあり、両者を分ける仕組みはよくわかっていなかった。本研究はこの分岐を強化学習の視点から説明する。
新規性: OPD を RL として捉え直し、「改善」と「崩壊」を同じ枠組みで説明しようとする点が中核である。前回取り上げた異トークナイザー OPD や DiffGate が教師信号の使い方を論じたのに対し、本研究は OPD がなぜ壊れるのかという失敗の仕組みに焦点を当てる。
手法: OPD の目的関数を RL の報酬・方策更新として解釈し、長大・反復生成への崩壊がどこから生じるかを分析する（詳細は本文を参照）。
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
著者: Jiachen Zhao, Zhengxuan Wu, David Bau et al.
言語モデルは汎用のシステムプロンプトや特定のペルソナなど、固定した文脈のもとでファインチューニングされることが多い。そうして学習した振る舞いは、その文脈に限定されることもあれば、未知の文脈まで広く汎化することもある。本研究はこの違いを「ペルソナ階層モデル」で説明する。
新規性: 文脈をまたいで振る舞いに影響する「共有のデフォルトペルソナ」を想定し、ファインチューニングがこのペルソナを変えると汎化が広がり、局所的なペルソナを変えるだけなら文脈内にとどまる、と整理した。4種類の振る舞いと15の学習文脈にわたる120モデルで、汎化の狭さは学習文脈のペルソナとデフォルトペルソナの類似度と正に相関した（Qwen3-4B で Pearson r = 0.72）。
手法: 望まない文脈間の汎化を抑えるペルソナ保存正則化（PPR）を提案した。RL に適用すると、評価したすべてのプロンプトで報酬ハッキングを 42〜55% から 0.2% 以下に減らし、精度向上は維持した。
Expert Coupling in MoE Pretraining: Reducing All-to-All Overhead with Correlated Placement and Token Shuffling
著者: Radha Gulhane, Quentin Anthony, Beren Millidge
エキスパート並列で MoE を学習すると、各層でトークンをエキスパートへ送り、結果を集める all-to-all 通信が発生する。8基の AMD MI300X を載せたノードのクラスタでは、EP32 で学習ステップの 45%（top-2）〜60%（top-6）をこの通信が占める。
新規性: ルーターは事前学習の早い段階から、層内でも層をまたいでも、相関のあるパターンでエキスパートを選ぶようになる。top-2 では、層内のエキスパート対の 0.8% が全トークンの 42% に同時に選ばれていた。この相関を使えば、ルーティングの結果やエキスパートのパラメータを変えずに通信を減らせる。
手法: 同時に選ばれやすいエキスパートを同じ GPU に置く「相関配置」と、各 GPU へトークンを1回だけ送るディスパッチャを組み合わせ、送信行を最大 58% 削減する。さらに「トークンシャッフル」で、注意層の後の reduce-scatter の際に、次の層のエキスパートを持つと予測される GPU へトークンを移す。1ノードでは、トークンと同じ GPU で処理される割り当ての割合が 12.5% から 59% に上がった。Megatron-LM で all-to-all 時間を 1.16〜2.63倍、ステップ時間を最大 1.41倍短縮した。
The Best Optimizer Depends on Batch Size
著者: Xingyu Dang, Kaiyue Wen, Sadhika Malladi
新しい適応的オプティマイザは、たいてい単一のバッチサイズで性能比較される。ハイパーパラメータのスケーリング則を使えばバッチサイズを変えても性能が保たれる、という前提があるためである。本研究はこの前提に異議を唱える。
新規性: 2点を示す。(1) Muon について、学習設定をまたいで一貫して機能する原理的なスケーリング則は見つからない。(2) 十分にハイパーパラメータを調整しても、言語モデル事前学習で最良のオプティマイザはバッチサイズによって入れ替わる。単一バッチサイズでの「最良」という比較は一般化できないことになる。
手法: 複数のバッチサイズでオプティマイザごとにハイパーパラメータを広く調整し、言語モデル事前学習での順位を比較する。
VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction
著者: Qiutong Chen, Yuchan Guo, Zhenlong Yuan et al.
マルチモーダル LLM は動画理解に強いが、動画の次に起こる出来事を予測するタスク（VEP）は苦手とする（53 upvotes）。過去を振り返る要約やテキスト中心の事前知識に頼るため、映っていない因果的な遷移を埋められないからである。
新規性: 観測されていない「原因から結果への遷移」を、ツールを使った推論で補う点が中核である。
手法: ツール拡張した強化学習で MLLM を学習し、動画からイベント予測までの因果的なつながりを推論させる（詳細は本文を参照）。
RunningTab: Direct Workspace Interaction with Environment-Side Tabs
著者: Jinheon Baek, Soyeong Jeong, Yumin Choi et al.
知識労働の多くは、ワークスペースにすでにあるファイルから新しい成果物を作る作業であり、LLM エージェントがそれを担い始めている（34 upvotes）。エージェントはインデックスなしで端末からファイルを検索・閲覧できるが、多数のファイルから成果物を作ろうとすると扱う情報が膨らむ。
新規性: 作業の状態をエージェントの文脈の中ではなく、環境側の「タブ」として保持する点が中核である。
手法: エージェントがワークスペースのファイルを直接操作する際に、環境側のタブで読み込んだ内容や作業の進行を管理する（詳細は本文を参照）。
RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
著者: Zhiqin Yang, Chenxin Li, Xiaomeng Hu et al.
汎用エージェントはコードを書き、ツールを使い、複雑なデジタル作業をこなせるようになった（29 upvotes）。本研究は、その能力が物理世界でどこまで通用するかを調べるため、ロボット利用のシミュレーション環境 RobotWorld を提案する。
新規性: ロボット操作を「エージェントのツール利用」の延長として評価する点が中核である。指示と観測を受け取ってロボットを動かすところまでを、多様なタスクと身体性（エンボディメント）で測る。
手法: シミュレーション上で複数のロボット・タスクを用意し、マルチモーダルエージェントがロボットを使いこなせるかを評価する（詳細は本文を参照）。
SWE-Game: Can Coding Agents Build the Games We Want?
著者: Xiaoyu Chen, Lai Wei, Jin Wang et al.
SWE-Game は、2D・3D の13ジャンルにわたる実行可能な Godot 製リファレンスゲーム41本をもとにした、247タスクのベンチマークである（25 upvotes）。
新規性: コーディングエージェントの評価を、ゲームという動作・体験まで含めて確かめる必要がある成果物に広げた点が中核である。
手法: 5種類のタスクを用意する。短い企画からの開発、ゲームデザイン文書からの実装、スケルトンの補完、意図的に埋め込んだ83件の不具合の修復、そして Godot 固有のタスクである。
分野別の動向
後学習：オンポリシー蒸留の失敗と拡張
前回に続きオンポリシー蒸留（OPD）が最大の論点になった。Gains and Collapse（27 upvotes）が崩壊の仕組みを RL の視点で分析したほか、On-Policy Distillation with Negative-Policy Rollouts（16 upvotes）は負の方策からのロールアウトを使い、Composing What Each Teacher Learned（7 upvotes）は教師ごとの相対的なずれを使って複数教師の OPD を合成する。応用先も広がっており、OnlineQAT（arXiv cs.CL）は3ビット以下の量子化モデルの回復に OPD を使い、Qwen3-1.7B の W3A16 で ReasoningQAT を 2.90 ポイント上回った。GraphOPD（arXiv cs.LG）は、環境の状態変化から作った依存グラフで、エージェントの軌跡のどのステップを蒸留するかを決める。FastOPD（2 upvotes）は VLA の軽量化に、Internalizing Agent Experience（10 upvotes）はエージェント的なハーネスの効果を画像生成モデルの重みへ取り込むことに OPD を使う。RL 側では、KLPO（arXiv cs.LG）が KL 正則化をサンプラー側に固定し、1プロンプト1ロールアウトでクリティック不要の非同期 RL を導いた。
エージェント：経験からの自己改善
経験を通じてエージェントが改善する過程を扱う研究が多かった。Agent Plasticity は、ある時点での能力ではなく「どれだけ効率よく学ぶか」を測る評価を提案する。スキルの扱いでは、SkillForge（7 upvotes）が古いスキルを捨てるライフサイクルを、UniSkill（5 upvotes）が学習中の方策に合わせたスキル提案を扱う。Inherit-MAS（4 upvotes）はマルチエージェントのワークフローをテスト時に進化させ、SAGA（arXiv cs.AI）は軌跡を手順や原則へ抽象化して再利用する。ロボットでも PhysEvo（26 upvotes）が凍結モデルの周りで物理的な再帰的自己改善を行う。ユーザーシミュレータを学習環境にする MIMESIS（11 upvotes）や、非協力的なユーザーを含む会話データを合成する ToolRACER（arXiv cs.CL）は、エージェントの学習環境そのものを作る研究である。
アライメント・信頼性
Persona Hierarchy Model のほかにも、モデルの振る舞いの条件を細かく分解する研究が出た。Beyond the Sycophancy Score（arXiv cs.CL）は10構成・103,939件の応答を分析し、迎合の主な要因は圧力のかけ方ではなく、ユーザーの主張をモデルが検証するコストだと示した。推論を最大にすると難しいパズルでの迎合は 0% になった。U-Space（arXiv cs.CL）は残差ストリーム中の低次元部分空間でトークンごとの不確かさを可視化し、正解ラベルや繰り返し生成なしで信頼度を推定する。Same Text, Different Prediction（arXiv cs.CL）は、bf16 ではバッチ形状を変えるだけで予測確率が最大 56.7 ポイント動くことを示した。Inverting Multi-Vector Visual Document Indices（18 upvotes）は、マルチベクトル型の文書検索インデックスから元のページを復元できる可能性を指摘する。
効率化：推論とシステム
STEPQuant と Expert Coupling に加え、推論効率の研究が並んだ。DLoop（11 upvotes）は、ドラフトが全トークン受理されることが多い点に着目したループ型の投機的デコーディングである。KVFetch（arXiv cs.LG）は、KV キャッシュ圧縮で長い識別子などの逐語コピーが途中で壊れる「逐次的忘却」を指摘し、位置順の先読みで RULER-16K の逐語コピーを 0.8 から 78.4 に回復させた。LRCC（arXiv cs.CL）はトークンごとに低ランク経路を選ぶルーターで、Llama-2-7B の下流精度を静的低ランク圧縮より 7.6 ポイント上げた。KITE（arXiv cs.LG）はマルチエージェント間の KV 通信を鍵となる1層に絞り、通信量を 28〜36分の1にした。CoDR（arXiv cs.CL）は拡散言語モデルで確信度の下がった確定済みトークンを再マスクする。
身体性：ワールド・アクションモデル
ワールド・アクションモデル（WAM）の研究がまとまって出た。Long-WAM（88 upvotes）の文脈拡張に加え、UniWAM（47 upvotes）は VLA と WAM の長所を統合し、Rethinking World-Action Model（4 upvotes）はサブタスク単位の構造を持つ長期操作を扱う。RoboJEPA はロボット用の潜在ワールドモデルのスケーリング則を調べる。運用面では CARE（arXiv cs.CL）が、VLA の高速化で失敗が増えないことを有限サンプルで保証しつつ、LIBERO で 9.0〜10.8倍の高速化を認証した。
評価・ベンチマーク
言語資源の評価では、Tokka-Bench（arXiv cs.CL）が自然言語100・プログラミング言語20で7種の BPE トークナイザーを比べ、語彙サイズより語彙の割り当て方が効くと報告した。sk-bench（arXiv cs.CL）はスロバキア語のネイティブ作成ベンチマークで55モデルを評価し、継続事前学習で失った性能の4分の3を少量の指示データで取り戻せることを示した。ARCS（arXiv cs.CL）は曖昧さを含む実データベース上の text-to-SQL ベンチマークで、最良のモデルでも実行精度は 51% にとどまった。