ゲーム開発をエージェントに行わせて検証可能な軌跡データを生む研究が118 upvotesで首位に立ち、確率的に整合したワールドモデルを問うPAWBench、実スケール都市での空間的行為を測るUrbanGroundが続いた。正解ラベルなしのテスト時方策最適化や教師なしon-policy蒸留など、外部の監督信号を内部から作り出す方向が同日に複数現れている。
注目論文
Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models
著者: Pengfei Zhou, Hexin Wang, Zhengfeiyang Zhang et al.
ワールドモデルをスケールさせる一般的な戦略は、より多くのクロール動画をより多くの計算資源で学習することである（118 upvotes）。本研究はこの戦略を非効率と論じ、ワールドモデルのスケーリングには接地された報酬信号を提供する再帰的なデータエンジンが必要だと主張する。コードエージェントの成功がその理由を例示している。
新規性: 学習データの供給源を「収集」から「生成」へ、しかも検証可能性を伴う形で切り替えた点が中核である。クロール動画は量こそ稼げるが、そこに写っている遷移が正しいかどうかを判定する手立てがなく、モデルは尤度を上げる以上のことができない。コードエージェントが伸びたのは、生成物をコンパイル・実行して正誤を機械的に判定できたからであり、その構造を映像領域へ持ち込むにはまず「実行できる世界」が要る。ゲーム開発をエージェントに行わせるという構成は、生成されたゲームそのものが実行可能な検証器になるという性質を利用しており、データ量ではなく報酬の接地をスケーリングの律速と位置づけ直している。同日のGameWAMやMagpieがゲームを世界モデルの対象として扱うのに対し、こちらはゲームを訓練データの製造装置として使う点で立場が異なる。
手法: エージェントによるゲーム開発を通じて、接地された報酬信号を伴う検証可能な軌跡データを再帰的に生成し、ワールドモデルの学習に供するデータエンジンを構成する。
PAWBench: How Far Are We from Probabilistically Aligned World Modeling?
著者: Yuandong Pu, Le Zhuo, Sayak Paul et al.
近年の動画生成モデルはワールドモデルとして位置づけられることが増えているが、多くの物理過程は複数の妥当な形で展開しうる（73 upvotes）。したがってワールドモデルは、もっともらしい単一の軌跡だけでなく、同じ初期観測と行動の下で起こりうる挙動の分布そのものを再現すべきである。
新規性: 評価対象を単一軌跡の妥当性から挙動分布の一致へ移した点が中核である。既存の動画生成評価は生成された1本の映像が物理的にもっともらしいかを問うが、この基準では、常に最も典型的な展開だけを出すモデルが満点を取れてしまう——コインが必ず表を向いて落ちる世界モデルは、各サンプルを見る限り破綻していない。確率的整合（probabilistically aligned）という基準は、モデルが不確実性を潰していないかを問うものであり、ワールドモデルを計画やシミュレーションの基盤として使う場合に決定的な差になる。同日のAgentic Game Developmentが報酬の接地を問題にするのに対し、こちらは出力の分布そのものを問題にしており、ワールドモデル研究が「それらしい映像」の段階を抜けようとしていることを示す。
手法: 同一の初期観測と行動の下で複数の妥当な展開が生じる物理過程を対象に、生成された挙動の分布が真の分布とどれだけ整合するかを測るベンチマークを構築する。
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
著者: Tianjie Ju, Zheng Wu, Yueqing Sun et al.
マルチモーダル大規模言語モデル（MLLM）は街景を解釈できるが、都市における行為能力は、その局所的な証拠がエージェントの移動開始後も有用であり続けるかに依存する（69 upvotes）。本研究は、現行のMLLMエージェントが局所的な都市知覚をどこまで信頼できる行動へ変換できるかを、複雑な実スケール都市環境で検証する。
新規性: 街景理解の評価を静的な一枚絵の解釈から、移動を伴う空間的行為（spatial agency）へ拡張した点が中核である。単一の街景画像に対する質問応答では、モデルが看板や建物を読めるかは測れても、その情報が数ブロック先で依然として役に立つかは測れない——移動すると視界が変わり、直前に得た手がかりの多くは無効化されるか、参照点として使い直す必要が生じる。実スケールの都市を舞台に置く構成は、この「知覚の賞味期限」を評価軸に持ち込むものであり、同日のUrban系以外のエージェント研究が長期ホライズンの工程完走を問うのと同じ問題意識を、物理空間の側で立てている。
手法: 実スケールの都市環境において、MLLMエージェントが局所的な街景知覚を移動後も有効な行動へ変換できるかを評価する枠組みを構築する。
TTPO: Test-Time Policy Optimization
著者: Aozhe Wang, Zhengxi Lu, Jianze Wang et al.
強化学習（RL）やOn-Policy Self-Distillation（OPSD）といった近年の主要な事後学習手法は、LLMの数学的推論を急速に進歩させてきたが、正解ラベルへの依存がテスト時学習（TTT）を妨げている（62 upvotes）。TTPOは正解の代替となる信号を用いてテスト時に方策最適化を行う。
新規性: 事後学習の枠組みそのものを推論時へ持ち込むために、ラベル依存という前提を外した点が中核である。RLやOPSDが強力なのは密な監督信号があるからだが、その信号は正解が既知の訓練セットでしか得られない——テスト時に直面する問題には定義上、正解が付いていない。ラベルを別の信号で置き換える構成は、テスト時スケーリングを「同じ方策で多く生成する」ことから「その場で方策を更新する」ことへ引き上げる方向であり、同日のCritICLが小規模モデルの失敗モードを推論時の手掛かりに使うのと同じく、外部の監督なしに推論時の改善余地を掘る系譜に属する。
手法: 正解ラベルの代わりとなる信号を用い、テスト時に方策最適化を実行する推論時学習手法を構成する。
Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher
著者: Shiyi Zhang, Mushui Liu, Yunze Tong et al.
事前学習済みの専門家教師モデルから密な監督信号を得るon-policy蒸留（OPD）は、LLMで大きな成功を収め、近年フローマッチングモデルへも適用されている（55 upvotes）。しかしこのパラダイムは2つの主要な問題を抱えており、Self-OPDは教師モデルなしでのon-policy蒸留を実現する。
新規性: 蒸留の定義上不可欠に見える教師を外した点が中核である。OPDの利点は生徒自身のロールアウト上で密なトークン／ステップレベルの監督が得られることにあるが、その監督は常に「生徒より強い何か」を前提とし、教師の準備・保持・推論コストが手法全体の適用範囲を規定してきた。教師なしで同等の密な信号を得る構成は、蒸留を「知識の移送」から「自己の軌跡に対する密な自己監督」へ読み替えるものであり、同日のTTPOがラベルを外し、CritICLが外部検証を外すのと並んで、外部の監督源を内部から作り直す試みが複数領域で同時に立ち上がっていることを示す。
手法: フローマッチングモデルに対し、事前学習済み教師を用いずにon-policy蒸留を行う枠組みを構成し、既存OPDが抱える2つの問題を回避する。
What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents
著者: Xingshan Zeng, Zishan Xu, Boju Zhang et al.
LLMエージェントは外部環境との相互作用の仕方を学ぶために、生成された相互作用データへの依存を強めている（55 upvotes）。エージェント学習データの生成は、環境・タスク・相互作用・成功信号の間の整合性を保ちながら、単に大量なだけでなく有用な経験を産出しなければならない。
新規性: エージェントデータの品質を、量やタスクの多様性ではなく構成要素間の整合性として定式化した点が中核である。合成された環境と、その上で立てられたタスクと、実際に取られた行動列と、成功と判定される条件——これらは個別に妥当でも噛み合っていない場合があり、環境が支援しないタスクや、達成できていないのに成功と記録される軌跡が混入する。整合性という観点を評価の軸に据える構成は、同日のAgentic Game Developmentが検証可能性でデータの質を担保するのと並び、エージェント学習が「データを増やす」段階から「データの妥当性を診断する」段階へ移ったことを示す。
手法: 環境・タスク・相互作用・成功信号の整合性という観点（ACEレンズ）からエージェント学習データの生成手法を分析し、有用な経験を産出する条件を特定する。
Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report
著者: TaoLive AIGC LLM Team, Yuhan Sun, Wenhao Lin et al.
AIによるデジタルアバター配信者は、商品に関する質問への回答、視聴者との関与、マーケティング戦略の実行をリアルタイムで行う必要があり、低遅延・頻繁な戦略更新・正確かつ効果的な応答が求められる（43 upvotes）。Skills・Hooks・プロンプト・ツールを独立に更新できるEvolvable Harnessがその要件を支える。
新規性: ハーネス進化を研究上の枠組みとしてではなく、実運用のライブコマース環境で成立させた点が中核である。前日のJIT-Agentがハーネスの実行時進化を提案したのに対し、こちらはSkills・Hooks・プロンプト・ツールをそれぞれ独立に更新可能な単位として切り出し、ライブ配信という遅延要件の厳しい場で回している——戦略の更新頻度が高い領域では、モデルの再学習を待つ余裕がなく、ハーネス側の差し替えが唯一の実用的な更新経路になる。さらに「ハーネスとともに進化するようエージェントを訓練する」という定式化は、ハーネスを固定の足場ではなく共進化する対象として扱うものであり、モデルとその周辺構造の境界を訓練の内側へ引き込んでいる。
手法: Skills・Hooks・プロンプト・ツールを独立に更新できるEvolvable Harnessを構成し、そのハーネスとともに進化するようエージェントを訓練して、リアルタイムのデジタルアバター配信に適用する。
GameWAM: A World Action Model for Video Games
著者: Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo et al.
現代のビデオゲームは、一人称視点の知覚、急速な視覚変化、永続的な世界状態、多様なネイティブ操作系を併せ持つ（37 upvotes）。既存のゲームエージェントは視覚とタスク文脈を行動へ直接写像するが明示的な世界ダイナミクスのモデル化を欠き、一方でインタラクティブなゲーム世界モデルは視覚的な未来を予測する。
新規性: 行動決定と世界ダイナミクス予測という、これまで別々に発展してきた2系統を単一のモデルへ統合した点が中核である。視覚から行動へ直接写像するエージェントは反射的に振る舞えるが、自分の行動が世界をどう変えるかの表現を持たないため、永続的な世界状態を伴う場面で一貫性を失う——逆に世界モデルは未来フレームを描けても、それを行動選択へ結びつける機構を持たない。World Action Modelという構成は両者の欠落を相互に埋めるものであり、同日のPAWBenchやAgentic Game Developmentと合わせ、ゲームがワールドモデル研究の中心的な検証場になりつつあることを示す。
手法: 明示的な世界ダイナミクスのモデル化と行動決定を統合したWorld Action Modelを構成し、一人称視点・高速な視覚変化・永続的世界状態・多様な操作系を持つ現代ゲームへ適用する。
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
著者: Yufan Wu, Yinghui He, Zhengyi Hu et al.
推論時スケーリングの進展はLLMの推論性能を大きく向上させたが、これらの手法は通常、反復生成か外部検証のいずれかに依存している。CritICLはこの制約に対処する推論時フレームワークである。
新規性: 小規模モデルの失敗を除去すべきノイズではなく、情報源として使う点が中核である。反復生成はサンプル数に比例してコストが増え、外部検証は検証器という別の強いモデルを要求する——どちらも「強い出力を得るには強い計算資源が要る」という構図から抜けていない。小規模モデルがどう間違えるかというパターン自体が、正解の所在を絞り込む手掛かりになるという発想は、weak-to-strong汎化を訓練時ではなく推論時の文脈内学習として構成するものであり、同日のTTPOやSelf-OPDと同様、外部の監督者を前提としない改善経路を探る流れに位置する。
手法: 小規模言語モデルの失敗モードを文脈内の手掛かりとして活用し、反復生成や外部検証に依存せずに推論時のweak-to-strong汎化を実現する。
Prefix Sliding for efficient test-time scaling
著者: Niklas Muennighoff, Zhengyang Wang, Zeyi Chen et al.
テスト時スケーリングは追加の推論時計算で性能を向上させるが、モデルはfull attentionによって推論トレース全体をメモリに保持するため、長い思考を要する難問では計算コストが法外になりうる。本研究は、その保持の大半が不要であることを見出す。
新規性: テスト時スケーリングのコスト構造を、生成トークン数ではなく文脈保持の側から削りにいく点が中核である。「長く考えれば解ける」という経験則は、思考が長くなるほどattentionのコストが二次的に膨らむという代償を伴い、最も長考が必要な難問ほど実行不能になるという逆説を生む。プレフィックスをスライドさせる構成は、推論トレース全体を等しく保持する必要はないという観察に基づくものであり、同日のAffix Cacheが拡散LLMのKVキャッシュ再利用を部分再計算で救うのと同じく、推論効率の改善が「何を捨てても壊れないか」の特定に向かっていることを示す。著者リストにはNiklas Muennighoff、Percy Liang、Jason Wei、Yejin Choi、Luke Zettlemoyerら多数が名を連ねる。
手法: 長い推論トレースをfull attentionで保持するコストに対し、プレフィックスをスライドさせることで保持範囲を制限し、テスト時スケーリングの計算量を削減する。
Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO
著者: Yunpeng Ba, Zhi Zheng, Yue Xie et al.
進化戦略（ES）はLLM推論のメモリ効率的な事後学習パラダイムとして近年注目されているが、その最適化挙動は十分に研究されておらず、GRPOをはじめとする主流の事後学習パラダイムに対する優位性の範囲を定義することが難しい（14 upvotes）。
新規性: 新手法の提案ではなく、既存パラダイムの適用範囲（advantage scope）を特定することを目的に据えた点が中核である。ESは勾配を必要とせずメモリ効率に優れるという実装上の利点で採用されがちだが、その利点が推論性能にどう跳ね返るかは経験的な報告の寄せ集めに留まっていた。推論カバレッジという軸でGRPOと比較する構成は、方策勾配法が高報酬の経路へ分布を集中させるのに対しESが探索の幅を保つという性質の違いを、優劣ではなく条件付きの使い分けとして整理するものである。前日の「次チャンク推論RLはSFTに本当に優るのか」と同様、手法の提案速度に対する検証の追いつきを図る論文が上位に入っている。
手法: 進化戦略の最適化挙動を分析し、GRPOと比較してより広い推論カバレッジを持つ条件と、その優位性が成立する範囲を特定する。
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
著者: Mingyi Li, Taira Tsuchiya
Muonは大規模言語モデル事前学習における行列パラメータ向けの強力な最適化手法として現れ、数回のNewton-Schulz反復でモーメンタムを近似的に直交化する。既存理論はこの反復を、それが近似する厳密な極分解で置き換えるか、有限深度を近似誤差として扱っており、いずれの立場でもMuonが実際に走らせる反復は保証を悪化させる要因にしかならない。
新規性: 実装上の近似が理論上は劣化要因とされてきた構図を反転させ、有限回反復そのものが利得だと示した点が中核である。極分解は特異値に対して不連続な写像であり、その不連続性は非平滑非凸最適化の解析と相性が悪い——有限回のNewton-Schulzはこれを特異値のLipschitz写像へ平滑化する。online-to-nonconvex変換の観点では、この平滑化こそが変換の要求するものであり、精度に対して対数的にしか増えない反復深度で非平滑非凸の停留点への収束が保証される一方、厳密な極分解を使うMuonは収束しないことがありうる。得られるサンプル複雑度は既知の最良保証と一致し、滑らかな非凸最適化では問題依存の因子を除いて最適である。
手法: online-to-nonconvex変換を通じてMuonの更新則をオンライン学習器と見なし、そのリージェット限界を停留性の保証へ変換する。有限Newton-Schulzは平滑化された spectral potential を持つオンライン学習器に相当し、議論は同じ平滑化性質を持つ一般のspectral mapへ拡張される。
Diff Mining: Logit Differences Reveal Finetuning Objectives
著者: Greg Kocher, Robert West, Clément Dumas, Julian Minder
ファインチューニングは既存の振る舞いの調整と新たな振る舞いの誘発における標準手法となったが、その過程で正確にどの振る舞いが生じるのかはしばしば不明のままである。Diff Miningは、ファインチューニング済みモデルのlogitをベースモデルのそれと比較することで、何が学習されたかを特定する。
新規性: モデル内部へのアクセスを要求せず、出力logitの差分だけで監査を成立させた点が中核である。既存のmodel diffing手法の多くは活性値や重みといった内部状態を必要とし、大規模モデルや重みが公開されない状況では使えない。logit差分のみに依拠する構成はモデル規模に対してスケールし、しかもファインチューニング領域と無関係なテキスト上でも、増幅されたトークンが訓練の「指紋」として浮かび上がる。有害な振る舞いがファインチューニングで混入しうることを踏まえれば、監査ツールとしての意義は大きく、同日のBasin-Aware Jailbreaksが事前学習基盤に由来する脆弱性を突くのと表裏の関係で、モデルの改変が何をもたらしたかを外側から見る手立てを与える。
手法: 参照コーパス上で文脈ごとのlogit差分を抽出する段階と、得られた信号を集約して解釈可能なトークン集合を構成する段階からなる。集約には単純なTop-K頻度法と、複数のファインチューニング目的を別々のトークンクラスタへ分離する非負値行列分解（NMF）ベースの手法を用いる。ファインチューニング領域の検出では既存のmodel diffing手法を大きく上回り、バイアスを注入したモデルでは的を絞った探索なしに3分の1超のバイアスを特定した。
A Single Suffix to Break Them All: Basin-Aware Jailbreaks for Merged Model Families
著者: Yu Zhe, Yixin Tan, Junhao Wei, Wang Chen
モデルマージは追加訓練なしに複数のファインチューニング済みモデルを結合できるが、その安全上の含意は十分に理解されていない。先行研究はマージのリスクを主に構成モデル側の危険性に帰し、個別に整合されたモデルのマージは安全性を保つと暗黙に仮定してきた。
新規性: マージのリスクの所在を構成モデルから事前学習基盤モデルへ移した点が中核である。「安全なモデル同士をマージすれば安全」という仮定は、リスクを構成要素の性質として見る限り自然に見えるが、マージされたモデル群が同一のbackboneを共有する以上、その基盤に残る脆弱性はマージ係数の選び方に関わらず露呈しうる。攻撃者がマージ係数も構成チェックポイントも知らないという現実的な脅威設定を立て、マージ空間上のmin-max最適化として定式化する構成は、単一のsuffixが同一backboneを共有するモデルファミリ全体へ転移することを示すものであり、モデルマージの普及に対して整合性の検証単位を個別モデルから基盤モデルへ引き上げる必要を示唆する。
手法: ジェイルブレイク生成をマージ空間上のmin-max最適化として定式化し（Basin-Aware Jailbreak, BAJ）、マージ済みモデルファミリ間で転移する敵対的suffixを生成する。多様なbackboneとマージ設定にわたる実験で一貫して高い転移成功率を示し、既存の防御下でも有効性を保つ。
Affix Cache for Diffusion Large Language Models
著者: Kaihua Liang, An Zhong, Xin Tan et al.
拡散大規模言語モデル（DLLM）は非自己回帰的な復号と双方向の文脈モデリングを可能にするが、効率的な推論は依然として困難である。自己回帰系では共有プレフィックスのKVキャッシュを再利用できるのに対し、DLLMは双方向attentionにより共有文脈トークンのKV状態が生成中のトークンと結合するため、素朴なキャッシュ再利用は陳腐化し、全再計算は高コストとなる。
新規性: 双方向attentionによって原理的に失われたキャッシュ再利用を、全再計算と素朴な再利用の中間で回復した点が中核である。自己回帰モデルにおけるプレフィックスキャッシュは因果マスクの副産物であり、双方向attentionではこの前提が消える——だが共有文脈内の全トークンが等しく生成トークンの影響を受けるわけではない。マスクされた生成トークンへの影響度を測ってAnchor Tokenを特定し、その約2割のみを再計算する構成は、キャッシュ再利用を全か無かの選択から影響度に応じた部分更新へ組み替えるものである。さらに再利用の対象をプレフィックスに限らずaffix（接辞、すなわち前後の共有スパン）へ拡張している点も、双方向モデルの性質を逆に活かす方向と言える。
手法: マスクされた生成トークンへの影響を測ることでリクエスト固有のAnchor Tokenを少数特定し、それらのKV状態のみを選択的に再計算して残りのaffixキャッシュを再利用する。Fast-dLLM上に構築し、約20%のaffixトークンの再計算で直接再利用による精度低下を各種設定で回復。Nano-vLLMエンジン上の共有プレフィックス試作では再計算遅延を最大55.7%削減し、エンドツーエンドのスループットを最大1.68倍に改善した。
分野別の動向
ワールドモデル
今日の上位を占めたのはワールドモデル系である。Agentic Game Developmentは学習データの供給を「クロール動画の量」から「検証可能な軌跡の生成」へ、PAWBenchは評価基準を「単一軌跡のもっともらしさ」から「挙動分布の整合」へ、GameWAMはモデル構造を「視覚から行動への写像」から「世界ダイナミクスを含む行動決定」へと、それぞれ別の層で同じ方向へ押している。共通しているのは、映像として自然かどうかではなく、世界の振る舞いとして正しいかを問う姿勢であり、ゲームがその検証場として繰り返し選ばれている点も特徴的である。Magpie（リアルタイム世界レンダラ）やStream4D（ストリーミング自己回帰拡散の4D一貫性）も同じ日に並んでいる。
監督信号の内製化
TTPOは正解ラベルを、Self-OPDは教師モデルを、CritICLは外部検証をそれぞれ外そうとしている。三者は対象領域も手法もばらばらだが、「性能向上には外部の強い監督者が要る」という共通の前提を、それぞれの位置で崩しにいっている点で一致する。テスト時に得られる信号だけで方策を更新する、生徒自身のロールアウトから密な監督を作る、弱いモデルの失敗パターンを情報として使う——いずれも監督の源泉をシステムの内側へ移す試みであり、事後学習のコスト構造が手法選択を規定しはじめた段階での自然な反応と読める。
エージェントの構造とデータ
TaoLive Digital Avatar Agentは前日のJIT-Agentが提案したハーネス進化を実運用のライブコマースで回しており、Skills・Hooks・プロンプト・ツールを独立更新の単位として切り出している。What Makes Good Agentic Dataは、エージェント学習データの品質を量やタスク多様性ではなく環境・タスク・相互作用・成功信号の整合性として定式化した。UrbanGroundは局所知覚が移動後も有効かを問い、いずれもモデル単体の能力ではなく、その周囲の構造やデータの妥当性がエージェントの性能を決めるという認識を共有している。
効率化と最適化理論
Prefix Slidingは長い推論トレースの保持コストを、Affix Cacheは拡散LLMにおけるキャッシュ再利用の不可能性を、それぞれ「何を捨てても、あるいは部分的に再計算すれば壊れないか」の特定によって解決している。Muon with Finite Newton-Schulzは方向性が異なり、実装上の近似が理論では劣化要因とされてきた構図を反転させ、有限回反復による平滑化が非平滑非凸収束の保証に必要だと示した——厳密な極分解を使うMuonは収束しないことがありうるという結論は、近似を「妥協」と見る素朴な理解を退けるものである。
安全性と監査
Diff Miningは出力logit差分のみからファインチューニングで何が学習されたかを特定し、Basin-Aware Jailbreaksは個別に安全整合されたモデルをマージしても事前学習基盤由来の脆弱性が露呈することを示した。前者はモデル改変を外側から見る手立てを、後者は安全性の検証単位を個別モデルから基盤モデルへ引き上げる必要を示しており、モデルの合成・改変が日常化した状況に対する監査側の応答として対をなす。arXiv側ではNeuronFuzz（安全ニューロンを継続的フィードバックとして使う白箱ファジング）も同日に現れている。