MiMo-V2.6はRLの計算量をスケールさせたオムニモーダルモデルの技術報告で、74 upvotesを集めた。内省的なルールブック、文脈圧縮用のメモリ、言語的な批評など、長期タスクのエージェントを支える仕組みの提案が続いた。疎な注意を使った推論の効率化も目立った。
注目論文
MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
著者: Core Team, Zongming Qiao, Ziyue Hua et al.
MiMo-V2.6 シリーズの技術報告である（74 upvotes、本日最多）。テキスト以外の複数のモダリティも扱えるオムニモーダルなモデル群で、強化学習（RL）に使う計算量をスケールさせて性能を押し上げる。著者らは、RL を基盤モデルが自己改善へ向かうための中心的な学習方法と位置づけている。
新規性: 事前学習のスケールではなく、RL の計算量をスケールさせることを性能向上の主な手段にしている。言語だけでなくオムニモーダルなモデル群に、この方針を適用した点も特徴である。
手法: RL の前に中間学習（mid-training）を行い、その後に大規模な RL を行う（中間学習のデータ構成、RL の設計、ベンチマークの結果は本文を参照）。
Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
著者: Dahyun Chung, Siyoon Jin, Hyunwook Choi et al.
一人称視点の世界モデルは、エージェントの行動を条件として、その視点から見える次の映像を予測する（52 upvotes）。従来の研究の多くは単一のエージェントを対象にしていたが、実際の身体を持つエージェントは、共有された環境で複数で行動し、互いに影響し合う。本研究は、複数エージェントが細かな身体的インタラクションを行う設定に一人称視点の世界モデルを広げる。
新規性: 既存の複数エージェント向け世界モデルは、移動のような粗い行動しか扱えなかった。本研究は、エージェント同士や物体との細かなインタラクションまで条件として扱えるようにした。
手法: 各エージェントの細かな行動を条件に、それぞれの一人称視点の映像を、共有環境の中で整合するように生成する（行動の表現方法やモデル構成は本文を参照）。
REMORY: Learning Residual Memory for Context Compaction
著者: Hanchen Xia, Baoyou Chen, Yutang Ge et al.
長期タスクのエージェントは、有限のコンテキストウィンドウの中で作業を続けるために、それまでの履歴を圧縮（コンパクション）する（38 upvotes）。しかし、テキストの要約だけでは、その後のすべての判断に必要な情報を残しきれない場合がある。REMORY は、要約を補う長さ固定のソフトメモリトークンを生成するニューラルメモリネットワークである。
新規性: 文脈の圧縮をテキスト要約だけに頼らず、要約からこぼれた情報を「残差」としてソフトトークンで保持する。メモリの長さは有界なので、コンテキストの消費量は抑えられる。
手法: 履歴と要約を入力として、要約に加える有界のソフトメモリトークン列を生成し、以降の判断で要約と一緒に使う（学習方法や評価タスクは本文を参照）。
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
著者: Jiarui Chen, Zeqiang Lai, Jiangshan Wang et al.
疎な注意（sparse attention）は、動画や高解像度の 3D アセットのような長い系列を生成する拡散 Transformer の遅延を減らす主な手段である（38 upvotes）。しかし、既存手法はスパース率を高くすると、生成の品質や忠実度が落ちる。MC-Sparse は、密な注意と疎な注意の品質差がどこから来るのかを分解し、その差を埋める疎な注意を提案する。
新規性: 理想的な条件を与えたオラクル実験で、品質の低下を要因ごとに切り分けた点が中核である。原因を特定したうえで手法を設計しているため、高いスパース率でも品質を保つことを狙える。
手法: 制御したオラクル実験で密・疎の注意の差を分解し、その分析に基づいて疎な注意を設計する（差の要因と具体的な設計、速度と品質の数値は本文を参照）。
Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks
著者: Haoyu Zhao, Zhengxu Yu, Zhiyuan He et al.
慣れない環境で行動するには、エージェントは世界がどう動くかを推定し、新しい証拠に応じてその理解を修正し続ける必要がある（35 upvotes）。ただし、観測が少ないと、過去のやり取りはどれも説明できるのに、未知の状態では異なる結果を予測する世界モデルが複数ありうる。Memento 3 は、内省的なルールブックとして世界モデルを持ち、それを更新しながら再帰的に自己改善するエージェントである。
新規性: 世界モデルを、自然言語のルールとして読み書きできるルールブックとして表し、内省によって修正する。観測から一意に決まらない世界モデルの曖昧さを、明示的に扱う点が特徴である。
手法: 環境とのやり取りから得た証拠をもとに、ルールブックを振り返って修正し、それを使って行動を計画する。これを繰り返して自己改善する（ルールの形式や評価環境は本文を参照）。
TestPrism: Rethinking Test Evaluation Beyond a Single Reference
著者: Han Li, Lingxiang Hu, Jiacheng Huang et al.
LLM のコーディングエージェントは、さまざまなプログラミングタスクでテストを生成できるようになった（34 upvotes）。しかし、生成されたテストを参照解 1 つだけに対して評価する一般的なやり方では、他の正しい実装の存在が無視され、テストの品質が過大評価されうる。TestPrism は、この問題に対処するテスト評価の枠組みである。
新規性: 「参照解で通るテスト＝良いテスト」という前提を見直し、複数の妥当な実装を使ってテストを評価する。正しい別解を誤って落とすテストを検出できる。
手法: 同じ仕様を満たす複数の実装を用意し、生成されたテストがそれらを正しく通し、誤った実装を落とせるかで品質を測る（データセットの構成や評価指標は本文を参照）。
Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
著者: Yuanhao Ban, I-Hung Hsu, Anastasios Angelopoulos et al.
最近のテキスト画像生成モデルは高い画質に達したが、事後学習でさらに改善するのは難しい（29 upvotes）。人間の選好のすべてを1つの報酬信号で捉えることはできないためである。本研究は、オープンドメインのテキスト画像生成モデル向けに、シンプルで効果的な事後学習のレシピを示す。
新規性: 全体的な好みを測る選好報酬と、個別の要件を確認するルーブリック報酬を組み合わせ、単一の報酬では取りこぼす側面を補う。最先端のモデルにも適用できる実用的な手順として示した。
手法: 選好報酬とルーブリック報酬を合成した報酬で、テキスト画像生成モデルを事後学習する（報酬の合成方法、対象モデル、評価結果は本文を参照）。
SparseEngine: Sparse-First Inference Engine
著者: Jitai Hao, Quansheng Gu, Qiang Huang et al.
長文脈の LLM エージェントでは、やり取りの履歴が溜まるにつれて KV キャッシュのメモリと注意の計算が重くなる（17 upvotes）。疎な注意はこれらのコストを下げるが、手法ごとにキャッシュの表現や処理の流れが異なるため、既存の推論エンジンに組み込みにくい。SparseEngine は、疎な注意を前提に設計した推論エンジンである。
新規性: 疎な注意を既存エンジンに後付けするのではなく、最初から疎な注意を中心に据えて設計した。異なる疎な注意の手法を共通の仕組みで扱えるようにすることを狙う。
手法: 多様なキャッシュ表現とワークフローを扱える抽象化を用意し、疎な注意による KV キャッシュの管理と計算を推論エンジンに統合する（抽象化の詳細やスループットの数値は本文を参照）。
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
著者: Kai Mei, Zhiyuan Hu, Yutong Dai et al.
長期タスクのコーディングエージェントには、適切なタイミングでの修正が必要である（14 upvotes）。ただし、フィードバックが進行中の作業を誤って判断したり、根本的な問題に対処していなかったりすると、効果がないどころか逆効果になる。Opera は、エージェントに言語による批評を与える枠組みで、フィードバックを出した後に何が起きたかまで追跡する。
新規性: 既存の批評モデルは、軌跡の評価とフィードバックの生成に重点を置き、フィードバックを出した後の結果をほとんど追跡していなかった。Opera はその後の効果を追い、批評の質を高めることに使う。
手法: コーディングエージェントの作業中に言語的なフィードバックを与え、その後の行動と結果を追跡して、フィードバックが役立ったかを判断する（批評の生成方法や評価ベンチマークは本文を参照）。
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
著者: Yihang Chen, Yuanhao Ban, Cho-Jui Hsieh
検証可能な報酬による強化学習（RLVR）では、同じロールアウトを複数回の方策更新に使い回すことが多い（12 upvotes）。その結果、現在の方策とデータを生成した方策のずれが大きくなる。著者らは、クリッピングを使う方策最適化で、アドバンテージの符号によって勾配が失われる「勾配の枯渇」が起きることを指摘し、それを解消する ReSPO を提案する。
新規性: クリッピングがオフポリシーの状況で一部のサンプルの勾配を符号に応じて抑え込むという問題を特定した。系列単位の方策最適化の目的関数を作り直して、この問題に対処する。
手法: 系列単位の重要度比とクリッピングの形を再設計（reshape）し、オフポリシーのロールアウトでも勾配が失われないようにする（具体的な目的関数と実験結果は本文を参照）。
分野別の動向
自己改善するエージェントとシステム
今日は「自己改善」をうたう研究がまとまって出た。MiMo-V2.6 は RL のスケールを、Memento 3 は世界モデルのルールブックの修正を自己改善の手段にしている。Mara Chain（9 upvotes）は、デプロイ済みの AI システムの最適化が、モデルの重みよりもプロンプト、スキル、ハーネス、コードの編集になりつつあると指摘する。そのうえで、受け入れ基準を満たした候補だけを残す従来の「提案・評価・選択」とは異なり、失敗した候補も次の改善の足がかりとして使う。Embodied Turing Machines（19 upvotes）は、制御ループのたびにモデルを呼ぶのではなく、状態を持つコードとしてロボットの方策を表し、再帰的な自己改善を目指す。Frozen Models, Evolving Expertise（6 upvotes）は、医療向けの LLM や VLM を凍結したまま、解いた症例の経験から学び続けるモデル非依存の方法を提案する。
RL による事後学習の分析
ReSPO のほかにも、RL や蒸留の振る舞いを調べる研究が並んだ。Learning to Steer, Steering to See（5 upvotes）は、学習可能なステアリングベクトルを使い、高次元で分析しにくい RLVR のパラメータ更新の幾何を調べる。On-Policy Distillation Teaches New Skills but Not New Knowledge（6 upvotes）は、制御した合成データで、オンポリシー蒸留によって生徒モデルが身につけるのは多段推論のスキルであり、新しい事実知識ではないことを示す。
推論の効率化
SparseEngine と MC-Sparse に加えて、SpecFold（7 upvotes）は、拡散言語モデル（DLLM）の複数ブランチ投機的デコードで、ブランチ間の冗長性をまとめて計算を減らす。疎な注意と投機的デコードという2つの方向から、長い系列の生成を速くする研究が続いている。
コーディングエージェントとエージェントの評価
Opera と TestPrism はどちらも、コーディングエージェントの出力を正しく評価し、修正することに取り組む。Skill Constellations（5 upvotes）は、Claude Code や Codex がユーザー権限で実行する SKILL.md 形式のエージェントスキルが、レジストリもバージョンも出所の記録もないまま GitHub 上でコピーされて広がっている状況を、ソフトウェアサプライチェーンとして追跡する。Accurate but Not Humble（8 upvotes）は、検索した証拠が事前の信念と矛盾したときに、エージェントが答えを改めるか、不確かさを認めるか、誤った結論に固執するかを評価する。Can AI Agents Make Open-Ended Scientific Discovery?（8 upvotes）は、明確な評価指標のない開かれた課題で、AI が自律的に科学的発見を進められるかを Station という環境で検証する。
生成モデル・身体性・世界モデル
画像生成では、選好報酬とルーブリック報酬を組み合わせた事後学習のほか、SpaceFlow（8 upvotes）が、テキストと幾何形状の集まりから、学習なしで局所的に制御できる 3D 生成を行う。ロボット学習では、Hebero（12 upvotes）が、Isaac Lab 上で GPU 並列のシミュレーションを使い、異なる種類のマニピュレーションタスクで多タスク RL を標準的に評価するベンチマークを提供する。Predicting Cable Dynamics with Physical Attention Bias（5 upvotes）は、ケーブルが自身や床に触れる箇所で誤差が集中する点に着目し、物理的なバイアスを持つ注意で学習済みシミュレータを改善する。Fernando Montes-Gonzalez による2本の論文（各 4 upvotes）は、2D シミュレーションで共進化させたロボット間の通信を、再学習せずに 3D 環境へ移したときに、どこまで機能が保たれるかを調べている。
なお、arXiv の cs.CL・cs.AI・cs.LG の RSS は週末の配信休止のため、今回は新しい論文を含んでいなかった。