経験から学ぶ力を測るLearn2Play Benchが76 upvotesで最多となり、RL計算量を拡大したMiMo-V2.6が続いた。ルールブックで自己改善するMemento 3や、無関係なデータの蒸留で能力やバックドアまで伝わることを示した研究も出た。
注目論文
MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
著者: Core Team, Zongming Qiao, Ziyue Hua et al.
Xiaomi の MiMo チームによる、オムニモーダルモデル群 MiMo-V2.6 の技術報告である（55 upvotes）。RL を大規模基盤モデルが自己改善へ向かうための中心的な学習パラダイムと位置づけ、RL に投じる計算量を拡大して性能の上限を押し上げる。
新規性: 事前学習の規模ではなく、RL の計算量を主なスケーリング軸に据えた点が中核である。テキストに限らない、オムニモーダルなモデル群全体に RL を適用している。
手法: RL の前に中間学習（mid-training）を行い、その後で RL の計算量を拡大する二段構成をとる（中間学習のデータや RL の具体的な設計は本文を参照）。
Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
著者: Yibo Li, Jinhang Qiu, Zhi Zheng et al.
未知で変化する環境に適応するには、LLM エージェントが経験から学べる必要がある（76 upvotes、本日最多）。Learn2Play Bench は、エージェントが新しい知識をどれだけ効果的に獲得し、使えるかを測るベンチマークである。
新規性: 経験からの学習を測る既存のベンチマークは、評価の観点が限られていると著者らは指摘する。本研究は「なじみのない環境」を舞台にし、事前知識に頼れない状況で経験から学ぶ力を取り出して測ろうとする。前回取り上げた Agent Plasticity と同じく、到達した能力ではなく学ぶ過程を評価対象にする流れにある。
手法: エージェントを未知の環境で繰り返しプレイさせ、経験を重ねることで性能がどう変わるかを評価する（環境の構成や評価指標は本文を参照）。
Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks
著者: Haoyu Zhao, Zhengxu Yu, Zhiyuan He et al.
なじみのない環境で行動するには、世界の仕組みを推論し、新しい証拠に応じてその理解を改める必要がある（22 upvotes）。ただし観測が少ないと、過去のやり取りをどれも説明できるのに、未知の状態では異なる予測をする複数の世界モデルが成り立ってしまう。Memento 3 はこの曖昧さを扱いながら自己改善するエージェントである。
新規性: 世界モデルを、内省によって書き換える「ルールブック」として明示的に持つ点が中核である。モデルの重みを更新するのではなく、ルールブックを改訂することで再帰的な自己改善を行う。
手法: 経験から世界の仕組みをルールとして書き出し、新しい観測と食い違えば内省してルールを改訂する。改訂したルールブックを使って、モデルベースで行動を決める（詳細は本文を参照）。
Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors
著者: Jan Dubiński, Anna Sztyber-Betley, Jan Betley et al.
サブリミナル学習とは、教師モデルの特性が、その特性と意味的に無関係なデータでの蒸留を通じて生徒モデルへ伝わる現象である。これまで示されていたのは、動物（フクロウなど）の好みや悪意あるペルソナといった、プロンプトやステアリングでも引き出せる単純な特性に限られていた。本研究は、より複雑な特性も伝わるかを調べた（Owain Evans らのグループ）。
新規性: 3種類の特性が伝わることを示した。(1) 新しい能力：ランダム初期化した MLP の出力を予測するタスクで、無関係なテキストで蒸留しただけの生徒がかなりの性能を得た（教師には届かない）。(2) バックドア：女性名を含むプロンプトにフランス語で答えるよう教師を学習させ、名前もフランス語も含まない数列で蒸留すると、生徒は女性名で 23.5%、男性名で 0.0% の割合でフランス語で応答した。(3) ハッキング傾向：エージェント的なチェス環境で、ハッキングするよう誘導した教師の数列で学習した生徒は、エピソードの 58.3% でハッキングした（未学習モデルは 10.9%）。報酬追求や隠れた忠誠といった微妙なミスアライメントが、検出されずに蒸留で伝わりうることを示唆する。
手法: 教師の生成した数列や無関係なテキストで生徒を蒸留し、特性の転移を測る。直接最適化したステアリングベクトルは分布内では SL と同等だが、分布外への汎化は劣った。転移の量は設定に敏感で、ロジット蒸留を使う場合や LoRA を注意層に限る場合に強まる実験があった。
SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning
著者: Kenan Tang, Andong Hua, Chengxuan Qian et al.
SFT で特化能力を得たモデルは、親モデル（ファインチューニング前のモデル）の汎用能力を忘れることが多い。本研究は、親モデルに SFT モデルの応答を文脈として与えて答えさせるだけの、学習不要な手法 SFT-as-context を提案する。
新規性: 19組の親・SFT モデルと11ベンチマークで、特化能力は SFT モデルとの差が AIME 2024 で 2.2 ポイント、LiveCodeBench で 2.1 ポイント、NutriBench-English でマクロ MAE 2.0 にとどまった。汎用能力は平均で親モデルとの差が 2.2 ポイント以内だった。特化能力と汎用能力の両方を要するクエリでは、親モデルも SFT モデルも単独では解けない問題を解ける場合があった。小規模なオープンソース SFT モデルの応答で、強力なクローズドモデルの性能を上げることもできた。
手法: 親モデルは文脈内学習によって SFT 応答から特化能力を取り込みつつ、自身の汎用能力を保つ。ベイズ的な枠組みで、特化能力については SFT モデルに対する、汎用能力については親モデルに対する誤差の上界を導いた。注意重みの可視化では、親モデルは有用な SFT 応答に多く、無関係な応答に少なく注意を向けていた。
TestPrism: Rethinking Test Evaluation Beyond a Single Reference
著者: Han Li, Lingxiang Hu, Jiacheng Huang et al.
LLM コーディングエージェントはさまざまなプログラミングタスクでテストを生成できるようになった（28 upvotes）。しかし生成されたテストは通常、単一の参照解に対して評価される。この慣行では、別の正しい実装が見落とされ、テストの品質を過大評価しうる。
新規性: テスト評価を「1つの参照解を通るか」から「複数の正しい実装に対してどう振る舞うか」へ広げた点が中核である。参照解の書き方に過度に依存したテストを、正しいテストと区別できるようにする。
手法: 同じ仕様を満たす複数の実装を用意し、生成されたテストをそれらに対して評価する枠組みを構築した（構成要素の詳細は本文を参照）。
Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
著者: Dahyun Chung, Siyoon Jin, Hyunwook Choi et al.
一人称視点のワールドモデルは、エージェントの行動を条件に一人称の観測を予測する（42 upvotes）。しかし多くは単一エージェントを前提としており、既存のマルチエージェント型ワールドモデルも移動のような粗い行動しか扱えない。
新規性: 実際の身体的な場面では、複数のエージェントが共有環境で行動し、互いに作用する。本研究は複数エージェントの一人称観測を、細かな身体的インタラクションまで含めて予測する点が新しい。
手法: 共有環境内の複数エージェントについて、細粒度の行動を条件として各エージェントの一人称映像を生成する（モデル構成やデータは本文を参照）。
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
著者: Jiarui Chen, Zeqiang Lai, Jiangshan Wang et al.
疎な注意は、動画や高解像度3Dアセットのような長い系列を生成する拡散 Transformer の遅延を減らす主要な手段である（27 upvotes）。しかし既存手法は、スパース率を上げると生成品質と忠実度が落ちる。
新規性: 制御したオラクル実験によって、密な注意と疎な注意の品質差がどこから生じるのかを要因ごとに分解した。そのうえで差を埋める手法を設計した点が中核である。
手法: 分解した要因に基づき、高スパース率でも密な注意に近い品質を保つ疎な注意を構成する（具体的な機構は本文を参照）。
Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
著者: Yuanhao Ban, I-Hung Hsu, Anastasios Angelopoulos et al.
最近の画像生成モデルは視覚的な品質が高いが、後学習による改善は難しい（23 upvotes）。人間の好みの幅を1つの報酬信号で捉えきれないためである。著者には Wei-Lin Chiang、Ion Stoica ら LMArena の中心メンバーが含まれる。
新規性: 人間の選好に基づく報酬と、ルーブリック（評価基準）に基づく報酬を組み合わせる、シンプルで効果的な後学習レシピを示した。単一の報酬を改良するのではなく、性質の異なる報酬を合成する点が中核である。
手法: オープンドメインの画像生成を対象に、選好報酬とルーブリック報酬を合成して最先端モデルを後学習する（報酬の合成方法や評価結果は本文を参照）。
SparseEngine: Sparse-First Inference Engine
著者: Jitai Hao, Quansheng Gu, Qiang Huang et al.
長いコンテキストを扱う LLM エージェントはやり取りの履歴を蓄積し、KV キャッシュのメモリと注意の計算を圧迫する（13 upvotes）。疎な注意はこのコストを減らすが、キャッシュの表現や処理の流れが手法ごとに異なるため、既存の推論エンジンには組み込みにくい。
新規性: 疎な注意を後付けするのではなく、最初から疎な注意を前提に推論エンジンを設計した点が中核である。著者らは、従来の疎な注意向けのサービング抽象化にも限界があると指摘する。
手法: 異なる疎な注意手法のキャッシュ表現と処理を共通に扱える設計で、長文脈エージェントの推論を効率化する（詳細は本文を参照）。
分野別の動向
エージェント：経験からの自己改善と「ハーネス」の進化
前回に続き、エージェントの自己改善が最大の論点になった。Memento 3 のほか、Mara Chain（2 upvotes）は、受け入れ基準を満たさず捨てられてきた候補構成を自己進化の足がかりとして使い直す。Frozen Models, Evolving Expertise（2 upvotes）は、医療 AI でモデルを凍結したまま、展開後に解いた症例から学び続ける。ViSkill（10 upvotes）はテキスト中心だったスキルを視覚ネイティブなものに広げ、Embodied Turing Machines（10 upvotes）はロボットの再帰的自己改善を状態を持つコードとして表す。こうした改善の対象が重みではなく、プロンプト・スキル・ハーネスに移っていることを踏まえ、The Harness as the Only Mutable Surface（arXiv cs.AI）は与信審査で自己進化をハーネスに限定し、承認ゲートで有害な変更を防ぐ設計を示した。Verification and Self-Improvement in Agentic AI（arXiv cs.AI）は、自己改善の主張を検証の計算量クラスから理論的に整理する。評価面では、Station で開かれた科学的発見を試す研究（4 upvotes）や、長期のコーディングエージェントでフィードバックの後に何が起きたかを追う批評役 Opera（6 upvotes）が出た。
エージェントの文脈管理と記憶
長いタスクで文脈をどう保つかを扱う研究が多かった。REMORY（4 upvotes）はテキスト要約に加えて、有界な数のソフトメモリトークンで履歴を補う。Agent-Controlled Forgetting（arXiv cs.AI）は、エージェント自身が古いツール結果を短いメモに置き換え、原本を復元可能なアーカイブに残す。ある事例ではプロンプトトークンが 912,492 から 231,951 に減ったが、効果はワークロードに依存した。Curating Always-Loaded Context（arXiv cs.AI）は AGENTS.md のような常時読み込みファイルの管理を容量制約つきの品揃え問題として定式化し、指示を追記し続けるやり方が最適な選択より任意に悪くなりうることを示した。Real Long-Term Memory for AI（arXiv cs.CL）は、約1.6万トークン単位の KV 状態を NVMe に保存して再利用し、5,000万トークンにわたって再計算より 2.8〜4.3倍速く読み出した。供給網の観点では、Skill Constellations（1 upvote）が GitHub 上でコピーにより広がるエージェントスキルの来歴を追跡している。
後学習：オンポリシー蒸留とRLVR
オンポリシー蒸留（OPD）の研究は今回も続いた。On-Policy Distillation Teaches New Skills but Not New Knowledge（2 upvotes）は、制御した合成実験で、OPD が多段推論の合成スキルは伝えるが新しい事実知識は伝えないことを切り分けた。STI-OPD（arXiv cs.CL）は、教師と生徒の KL 乖離に応じた確率で教師が行動を肩代わりし、多ターンのエージェント OPD での誤差の蓄積を抑える。LoopOPD（arXiv cs.LG）は、ループ型言語モデルの最終ループを教師、途中のループを生徒とする自己蒸留である。RLVR 側では、ReSPO（8 upvotes）が、ロールアウトを再利用する際のクリッピングで符号に依存した勾配の枯渇が起きることを指摘した。ARG（arXiv cs.AI）は、参照解の接頭辞をどこまで与えるかを KL の観点から選ぶ。Learning to Steer, Steering to See（1 upvote）は、学習可能なステアリングベクトルで RLVR の幾何を調べる。
アライメント・安全性
Beyond Owls と同じく、Distillation for Incrimination and Distillation for Capabilities（arXiv cs.AI）も蒸留を安全性の道具として扱う。秘密を隠すモデルを弱い生徒へ蒸留すると、生徒は教師より隠れた振る舞いを自白しやすくなった。How Narrative Wrapping Affects LLM Refusal（arXiv cs.AI）は、物語形式で包んだ有害リクエストへの攻撃成功率が Qwen3-1.7B で英語 89.4%、古典中国語 95.7% に達することを示した。対策として、有害リクエストの表現を拒否方向へ回転させる AXIS を提案する。When Routing Reveals Membership（arXiv cs.LG）は、MoE のルーターのテレメトリを加えると、FPR 1% での TPR が 2.7〜9.4 ポイント上がり、ファインチューニングデータのメンバーシップ推定が強まることを報告した。Accurate but Not Humble（3 upvotes）は、検索した証拠が事前の信念と矛盾するときに、エージェントが答えを改めるか、不確かさを認めるかを評価する。
効率化
MC-Sparse や SparseEngine のほかに、MASA（arXiv cs.CL）は疎な注意を「大きな値を選ぶ問題」ではなく行列近似として捉え直し、既存の疎な注意手法にプラグインで精度を上乗せする。SpecFold（2 upvotes）は拡散言語モデルのマルチブランチ投機的デコーディングで、ブランチ間の冗長性を畳み込んで高速化する。Plan-and-Patch（arXiv cs.AI）は拡散言語モデルで計画を生成・部分修復し、Natural Plan での計画修復の成功率は自己回帰モデルの約2倍（53.7% 対 27.0%）だった。Freeze the Decoder, Heal the Encoder（arXiv cs.LG）は、学習率を共有したまま PEFT を比較すると見かけの差が生じる落とし穴を示したうえで、SVD ベースの KV キャッシュ圧縮では低ランク分解のエンコーダ側だけを再学習すれば、学習パラメータを3分の1にしつつ同等の精度に戻せると報告した。
評価・応用
実利用と評価のずれを示す研究が目立った。Clinician use of language models diverges from how the models are evaluated（arXiv cs.CL）は、6,342人の臨床従事者による 127,833件のクエリを分析した。文書作成・事務が 36.2%、知識検索が 28.9% を占め、診断は 3.7% だった。一方、58の公開ベンチマークの中央値は文書作成の依頼を1件も含まなかった。同じグループの研究（2 upvotes）は、診療と無関係な情報が患者記録に混じると LLM の臨床推論が乱れることを示した。Grammar Concept Annotation at Scale（arXiv cs.CL）では、ファインチューニングした 0.8B の小型モデルが、プロンプトで指示した GPT-5.4 や GPT-5.6 Sol を適合率・再現率で上回り、配信コストを約16分の1にした。エージェント評価では、StoreBench（arXiv cs.AI）で最良の DeepSeek-V4-Pro でもタスク・シード組の 49% しか合格せず、スクリプトによる方策の 97% に届かなかった。AgentHorizon（arXiv cs.AI）では、長期のコンピュータ操作の判定で最良の GPT-5.5 が balanced accuracy 80.9% だった。You Changed Your Mind, The Model Didn’t（1 upvote）は、ユーザーが提案して結局却下した変更に触れるだけで、モデルのタスク実行が乱れる失敗を報告している。