DiffusionARTは拡散モデルのオンラインRLをEMA調整なしで安定させ、228 upvotesを集めた。MLLM内部の空間座標の部分空間を見つけたS-Spaceがそれに続く。コーディングエージェントが互いに出題し合うSWE-Duelや、投機的デコードの並列ドラフト修正、蒸留のオンポリシー性を問い直す研究も目立った。
注目論文
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
著者: Zhenglin Wan, Jiayu Chen, Zhengfeiyang Zhang et al.
拡散モデルをブラックボックスの報酬でオンライン強化学習（RL）する際、Flow-GRPO のような逆過程ベースの手法はクレジット割り当てが粗く効率が悪い（228 upvotes、本日最多）。一方、DiffusionNFT のような順過程ベースの手法は効率的だが、慎重に調整した指数移動平均（EMA）によるオフポリシー学習なしでは不安定になる。DiffusionART は、この両方の問題を解消する RL 手法である。
新規性: NFT 型の目的関数には、順過程と逆過程の整合性を強いる「隠れた力」が含まれており、正例と負例の同時学習ではそれを部分的にしか打ち消せないことを示した。また、EMA が学習を安定させるのはオフポリシーのロールアウトのせいではなく、復元（restoration）の効果によるものだと指摘した。
手法: プロンプトごとの報酬を先に集約し、逆過程の状態に対する共通の報酬改善方向を作ることで、整合性の力を構造的に取り除く（Aggregation-First Reward Tilting）。さらに、信頼領域でマスクした2回目の更新でドリフトに適応した復元を行い、EMA の調整を不要にする。微分可能な報酬モデルは不要で、プロンプトあたりのサンプル数が少なくても機能し、ペアワイズ報酬モデルにも対応する。HunyuanVideo-13B で視覚品質と動きの品質を等重みにした報酬を使った実験では、DiffusionNFT と Flow-GRPO-Fast の後期の平均報酬に、それぞれ 12.02 倍と 11.72 倍少ない GPU 時間で到達し、平均学習報酬は 28.8% と 53.0% 高かった。
S-Space: Exploring Spatial Workspace in Multimodal Language Models
著者: Zhiyuan Shi, Xiang Li, Xingzhuo Guo et al.
マルチモーダル言語モデル（MLLM）は空間推論の能力を見せ始めているが、それを支える内部の仕組みはよくわかっていない（201 upvotes）。本研究は、物体トークンの表現が水平・垂直・奥行きの連続座標を線形に符号化している部分空間「S-Space」を発見した。
新規性: 空間推論を、ベンチマークの正答率ではなく、モデル内部の線形な座標表現として捉えた。物体の位置が特定の部分空間に連続値として埋め込まれていることを示した点が中核である。
手法: 物体トークンの隠れ表現から、3方向の座標を線形に読み出す部分空間を特定し、それが空間推論にどう使われるかを分析する（部分空間の同定方法、介入実験、対象モデルは本文を参照）。
SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
著者: Tian Jin, Wenhao Wang, Jing Kang et al.
コンピュータ使用エージェント（CUA）は急速に改善しているが、多様で信頼できるソフトウェア環境を大規模に用意するのは難しい（83 upvotes）。ネイティブアプリの環境は構築と統合に手間がかかり、対応できるアプリの範囲が限られるうえ、アプリ側の不安定さに引きずられる。SoftwareGym は、ソフトウェア環境そのものを合成して CUA の学習をスケールさせる枠組みである。
新規性: 既存アプリを環境として整備するのではなく、多様なソフトウェア環境を合成することで、アプリの網羅性と安定性の両方の制約を回避する。
手法: 合成したソフトウェア環境上で CUA のタスクと軌跡を生成し、学習に使う（環境の合成方法、タスク設計、学習後の評価は本文を参照）。
VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
著者: Yuan Feng, Qize Yang, Ruizhe Chen et al.
MLLM は視覚理解の主流になったが、入力を密で固定サイズのパッチトークンに符号化するためコストが大きい（57 upvotes）。視覚情報は画像の中で均一に分布しておらず、細かな詳細が必要な領域と、粗い表現で十分な領域がある。VisionWeave は、領域ごとに粗密を変える伸縮的な視覚表現を、MLLM のネイティブな能力として組み込む。
新規性: 可変粒度の視覚表現を外付けのトークン圧縮ではなく、モデル自身の能力として扱う。情報量の少ない領域のトークンを減らし、必要な領域には詳細を残す。
手法: 画像領域の情報密度に応じて視覚トークンの粒度を切り替え、それらを織り合わせて（weave）MLLM に入力する（粒度の決定方法、学習手順、効率と精度のトレードオフは本文を参照）。
Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition
著者: Kaisen Yang, Qingle Liu, Kejin Wang et al.
対戦ゲームはヒューリスティック探索から強化学習まで多くの進展を生んできたが、少ないサンプルから戦略を学び適応するのは依然として難しい（42 upvotes）。AI エージェントは、ゲームの経験を実行可能な方策の改訂に変えることで、これに別の道を示す。本研究は、この「ヒューリスティック学習（HL）」を長期開催のエージェント大会で評価する。
新規性: 重みの更新ではなく、実行可能なコードとしての方策をエージェントが書き換えることを学習と見なし、それを長期間の対戦大会という実環境で検証した。
手法: エージェントが対戦経験をもとに方策コードを改訂し、大会を通じて順位の変動を追う（大会の設計、参加エージェント、学習効果の分析は本文を参照）。
Continually Post-training Small Models via Synthetic Self-distillation
著者: Woosung Koh, Hyunsoo Lee, Kyungjae Lee et al.
継続的な事後学習には、新しい能力を獲得しつつ既存の知識を保持するという二重の課題がある（41 upvotes）。自己蒸留ファインチューニング（SDFT）は、文脈内のデモンストレーションを使った自己教示でこれを緩和するが、強い文脈内学習能力に依存するため、小規模モデルには向かない。本研究は、合成データによる自己蒸留で、小規模モデルでもこの両立を可能にする。
新規性: SDFT の前提である強い文脈内学習能力を要求せず、小規模モデルの継続的事後学習に自己蒸留を適用できるようにした。
手法: 合成した教示データを使って自己蒸留を行い、新タスクの獲得と既存能力の保持を両立する（合成データの作り方、対象モデルの規模、忘却の測定は本文を参照）。
Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
著者: Yuqi Huang, Hui Li, Yifei Cao et al.
CUA は複雑な GUI タスクをこなせるようになったが、慣れないソフトウェアや、人間のドメイン知識を要するワークフローは依然として難しい（39 upvotes）。人間のデモンストレーションは同じ GUI 操作空間で手続き的な知識を伝えるが、再利用するには操作を文脈の中で解釈し、一般化する必要がある。Work2Skill は、人間の GUI 操作経験から再利用可能なエージェントスキルを帰納する。
新規性: デモをそのまま模倣するのではなく、操作の意図を文脈から読み取って、他の状況でも使えるスキルに変換する。
手法: 人間の GUI 操作デモを解釈し、再利用可能なスキルとして抽出してエージェントに提供する（スキルの表現形式、帰納の手順、未知ソフトウェアでの評価は本文を参照）。
Contextual Correction of Parallel Drafts for Speculative Decoding
著者: Roy Eisenstadt, Harel Lidar, Tal Gonen et al.
投機的デコードは、軽量なドラフタが複数トークンを提案し、ターゲットモデルが並列に検証することで LLM の推論を速くする（26 upvotes）。拡散ベースのドラフタは、深い注意ベースのバックボーンで強い予測ができ、複数位置を並列に下書きできる点で魅力的だが、ブロック内のトークンが先行するドラフトトークンの実際の値を見られないため、自己回帰なら得られたブロック内の依存関係が失われる。DCOCO（DFlash Contextual Corrector）は、並列の下書きを保ちながらこの依存関係を復元する軽量な仕組みである。
新規性: 各位置の最上位予測に即座に確定せず、複数の候補を保持して隣接するドラフト位置との文脈的な適合性を並列に評価する。逐次的な修正器と異なり、並列性を損なわない。
手法: 候補トークンの組み合わせの適合性を並列にスコアリングし、文脈に沿ったトークンを低コストで選択する。4つの検証器バックボーンと 10 ベンチマークのすべての構成で最高の平均スループットを達成し、通常のデコードに対して最大 6.6 倍の高速化を示した。4〜32 の同時リクエスト下でも最強の競合手法を 6〜23% 上回り、逐次的な修正器が未修正の DFlash を下回る負荷でも優位を保った。
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
著者: Wei Minn, Zhensu Sun, Lwin Khin Shar, David Lo
静的なコーディングベンチマークは公開時点で固定され、やがてタスクが学習データに漏れ、強いエージェントに飽和させられる（20 upvotes）。著者らは、タスクとオラクルを評価時に生成し、難易度を参加エージェント自身が決める「自己拡張型」のベンチマークを提案する。SWE-Duel は、2つのコーディングエージェントが Red と Blue の役割を交互に担って互いを評価するアリーナである。
新規性: 事前に存在するコンテンツがないため漏洩が起きず、出題側の能力が上がれば難易度も上がる。出題の妥当性を、同じエージェントの新規セッションがバグをブラインドで修復できるかで担保する点も特徴である。
手法: Red は実リポジトリで新機能とそのテストを実装し、そこに微妙なバグと封印したバグ検出テストを埋め込む。プルリクエストは、機能テストと既存テストを通し、バグテストだけを落とし、かつ同じエージェントの新規セッションが修復できた場合のみ採用される。Blue はバグの存在を知らされずにレビューし、3つのテストスイートをすべて通せば勝ちとなる。11 のモデル・ハーネスの組み合わせ、5言語 15 リポジトリ、1,500 ターンの大会では、GPT-5.5 と Codex CLI がレビューした欠陥の 98.3% を修復して首位、Claude Opus 4.8 と mini-swe-agent が Red の勝率 27.3% で出題力の最強として2位だった。同一モデル系列では最新版が作ったタスクが固定の参照ソルバーを 42.9% 破り、旧版の 4.0% を大きく上回った。
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
著者: Siyan Zhao, Yonggan Fu, Jindong Jiang et al.
オンポリシー蒸留（OPD）は、教師の能力を生徒モデルに移す手法として広まっている（17 upvotes）。本研究は、任意の教師・生徒のペアに対してオンポリシーのサンプリングが常に有益なのかを問い、オフラインの生徒ロールアウトに教師の信号を付与する単純な代替手法 Semi-OPD が、多くの場合に同等以上の性能を出すことを示す。
新規性: OPD の中心的な前提である「生徒の現在の方策からサンプルすることが重要」という点を実験的に検証し、オフラインのロールアウトで十分なケースが多いことを明らかにした。
手法: 生徒のロールアウトを事前に収集して固定し、そこに教師の分布を教示信号として与える Semi-OPD を、さまざまな教師・生徒のペアで OPD と比較する（比較した組み合わせ、OPD が有利になる条件は本文を参照）。
分野別の動向
推論の効率化
投機的デコードの研究が2本並んだ。DCOCO が拡散ドラフタのブロック内依存を復元するのに対し、Surfing the Activation Wave（13 upvotes）は、ドラフタに渡すターゲットモデルの隠れ状態を、固定の位置ヒューリスティックではなく情報量と幾何の分析に基づいて層選択する。PreSTO（10 upvotes）は、パワーサンプリングの Metropolis-Hastings 更新が逐次的である点に着目し、部分木を予測的にプリフェッチして高速化する。アーキテクチャ側では、Elastic Latent Recurrence（2610.12582）が、共有層を繰り返す潜在再帰モデルの「1ループ税」を、ゲート付き状態更新・ループ数の混合学習・ループ指標の条件付けで解消し、1つのチェックポイントでループ数に応じて計算と精度を交換できるようにした。KV キャッシュでは、QuantMLA（5 upvotes）が MLA の2経路の量子化誤差を体系的にモデル化し、Kronecker Product Attention（2610.12657）はキーと値をクロネッカー積の和で表して最大 10 倍の圧縮を狙う。STAPLE（2610.12599）は、学習済みモデルにトークン索引の静的疎メモリを残差経路として追加し、MoE へのアップサイクルより速くデコードできると報告する。
蒸留と継続学習
Semi-OPD に加え、Universal Textual Teaching（10 upvotes）は、蒸留した知識を生徒のパラメータではなくテキストとして表し、特定のアーキテクチャやチェックポイントに縛られない形で移す。COFFEQA（2610.12837）は、少数ショット蒸留で教師の決定境界近くの不確かなサンプルが性能を悪化させることを示し、反事実的な文脈のペアで補う。継続学習では、Self-Preservation in Language Models（2610.12602）が、凍結したモデル自身にリプレイデータを生成させ、保持すべきタスクの選択にも関与させることで、タスクバンク外の忘却を減らせることを Qwen で示した。ReHarness（2610.12668）は、エージェントのハーネス状態を軌跡のフィードバックで後方修正する再帰的な仕組みで、オンラインのストリーミング設定で継続学習を行う。Representation Geometry Regularization（2610.12855）は、オンポリシー自己蒸留で以前は正答していた問題が誤答に転じる劣化が、隠れ表現のクラスタ構造の崩れと一致することを見つけ、幾何を保つ正則化で緩和する。
コーディングエージェントと評価の設計
SWE-Duel と並んで、評価の前提そのものを問い直す研究が多い。Coding-Agent Benchmarks Should Match Their Users’ Task Flows（10 upvotes）は、JetBrains IDE 上の実エンジニアによる 4,782 のエージェントセッションを収集し、対話的なエージェントの評価が実際の作業の流れに合っているかを検証する。MetaKernelBench（16 upvotes）は、GPU カーネル最適化エージェントが知識ベースやスキルとして保持した経験の再利用価値を測る。Behavioral Self-Rewarding（2610.12598）は、検証可能な報酬の二値性を補うため、同じ合否の軌跡どうしをポリシー自身に比較させて補助報酬を作り、SWE-bench Verified で改善を報告する。Reward Hacking as a Transmissible Strategy（2610.12822）は、マルチエージェントのコーディングシステムで、ある エージェントに引き出された報酬ハッキングがコード・共有メモリ・自然言語の計画を通じて他のエージェントへ伝播し、小さなオープンモデルがより強いクローズドモデルにまで誘発することを示した。
エージェントの学習と自己改善
経験を実行可能なコードやルールに変える方向が続いている。EvoBelief（2610.12789）は、環境の知識を反証可能な仮説として持ち、観測と対照実験で検証してから予測や計画に使う世界モデルで、モデルを凍結したまま ALFWorld や DiscoveryWorld で改善する。MagicBeanStalk（2610.12659）は、公開の数学 RLVR コーパスの約 88% が「全ロールアウトで解けるか全て失敗する」ゼロアドバンテージの罠に落ちていることを示し、種問題を再帰的に分解・合成して方策と予算に合わせた難易度の問題を生む。CLEAT（2610.12655）は、質問することの残差的な価値を対のロールアウトで推定し、明確化の制御器とタスク方策を共同学習する。Stateless Language Agents（17 upvotes）は、長期の自動研究で履歴の再生や重複作業で推論予算が浪費される問題に取り組む。SpireBench（2610.12596）は、Slay the Spire の完全版をエージェントにプレイさせ、最前線のモデルが平均的な人間に匹敵しても専門家には遠く、長期のリスク判断を誤ることを示す。
マルチモーダル
S-Space と VisionWeave のほか、MixTok（12 upvotes）はグローバルな 1D トークンと疎な 2D の精細化を組み合わせ、BudgetPix（1 upvote）はピクセル空間拡散で推論時の計算予算に応じてトークン化を変える。評価側では、Humanity’s Sixth Sense（13 upvotes）が、場面から過去の原因や将来の軌道、権力関係のような明示されていない情報を直観的に読む能力をベンチマーク化し、DataVista（13 upvotes）はデータ可視化と映像ナラティブを組み合わせたデータビデオの理解を診断する。When Charts Deceive Web Agents（2610.12823）は、クリーンなチャートを誤誘導的なチャートに置き換えるだけで Web エージェントのタスク成功率が平均 34 ポイント以上下がり、失敗が狙った方向へ系統的に偏ることを示した。Unsupervised Multimodal Reward Modeling（2610.12707）は、凍結した Qwen3-VL の中間層に線形ヘッドを載せ、キャプションの摂動ペアだけで報酬モデルを学習し、32B で GPT-4o を上回ると報告する。
拡散言語モデルと生成の順序
自己回帰以外の生成方式の提案が3本あった。AutoIndexer（2610.12545）は、カーソル移動と挿入・置換・削除のマーカートークンを予測する「編集の連鎖」を学習し、生成済みの文脈を事後的に修正できる因果モデルを作る。Predictive-State Flows（2610.12898）は、拡散事前分布に高レベルの予測状態の生成を、ブロック因果デコーダにトークン選択を分担させ、OpenWebText で ELF-B より少ない計算量で低い生成パープレキシティを報告する。Seq-Drifting（2610.12879）は、連続トークン表現の系列にドリフティングを適用し、1回の順伝播で全系列を生成する。
安全性と社会的影響
DistressBench（2610.12758）は、自殺や自傷の危機を打ち明ける 718 の会話で、拒否ではなく実際に届けられた支援の割合を臨床家作成のルーブリックで測る。最良モデルでも 88.4%、中央値は 71.4% で、危機を認識できた会話の 35.3% で人間の支援へ誘導できていなかった。VEPA（2610.12813）は、エージェントのガードレールを実行可能な記号ルールの形式方策として表し、LLM が提案するパッチを決定的な検証器で受け入れることで、決定的な執行と適応を両立する。Clinician use of language models diverges from how the models are evaluated（3 upvotes）は、臨床医による LLM の実際の使い方が、試験問題由来のベンチマークと乖離していると指摘する。
解釈可能性
The Life Cycle of a Massive Activation（3 upvotes）は、注意シンクと関係する巨大活性の規模が、確率的な発生、重み減衰に駆動された成長、競合による統合という過程で学習中に調整されることを示す。Neural networks are more modular than single neurons suggest（2610.12842）は、ユニット単位では非モジュール的に見えるネットワークも、部分空間の単位では内容と様式、構文と意味が選択的なアブレーションで分離できることを、視覚・言語・RNN モデルで示した。