MiniMax-H3の物理世界推論を体系評価した論文が114 upvotesで最上位に立ち、統合生成モデルの評価軸が「作れるか」から「世界を理解しているか」へ移る。並行してon-policy蒸留の長さ膨張を終端トークンの不一致として特定する研究、領域非依存の世界モデルJEPA-Anythingが並び、生成・蒸留・世界モデルの各層で前提の再点検が進んだ一日である。
注目論文
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
著者: Haoyu Zhao, Zihao Zhao, Tianyu Deng et al.
近年のオムニモーダル生成モデル（Omni-Models）は、テキスト・画像・映像・音声の統合的なモデリングへとコンテンツ生成を進めてきた（114 upvotes）。MiniMax-H3 は、マルチモーダルな文脈理解と音声・映像の同時生成を共有の潜在枠組みで組み合わせることで、この移行を体現するモデルであり、本研究はその物理世界に関する推論能力を体系的に評価する。
新規性: 統合生成モデルの評価軸を生成品質からではなく「物理世界の理解」から立てた点が中核である。マルチモーダル生成の評価は忠実度や指示追従の指標として構成されるのが通例である——だが音声と映像を同じ潜在空間で同時に生成するモデルでは、出力が整合して見えること自体が物体の永続性や因果の順序を把握している証拠には必ずしもならない。物理世界への推論を問う評価設計は、その見かけの整合と実際の理解を切り分けるためのものである。
手法: マルチモーダルな文脈理解と音声・映像の同時生成を統合する MiniMax-H3 を対象に、物理世界に関する推論を問う評価を構成し、オムニモーダルな統合モデリングがどこまで世界の規則性を捉えているかを測定する。
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
著者: Yuxiao Yang, Tianrun Yu, Shangzhe Li et al.
on-policy 蒸留（OPD）において、生徒の応答が過剰に長くなり、生成予算を使い切ってしまうことさえある「長さの膨張」を扱う（94 upvotes）。本研究はこの挙動の重要な原因として、ベースの生徒モデルと事後学習済みの教師モデルの間にある終端トークン（termination token）の不一致を同定し、Qwen3・Llama などにまたがって検証する。
新規性: 蒸留時の冗長化を報酬設計や長さペナルティの不足ではなく、EOS の扱いの食い違いという具体的な機序に帰着させた点が中核である。応答が長くなる問題は最適化圧の副作用として語られるのが通例である——だが生徒が「どこで止めるか」を学ぶ信号は終端トークンの確率そのものであり、事後学習で終端の分布が動いた教師と未調整の生徒では、停止の基準が最初からずれている。終端トークンの不一致に照準する構成は、症状への対処ではなく発生源を押さえるためのものである。
手法: on-policy 蒸留における長さ膨張を分析し、ベース生徒と事後学習教師の終端トークン不一致を要因として切り出す。複数のモデル系列（Qwen3、Llama 等）を横断して現象の一般性を確認する。
JEPA-Anything: Learning Predictive Models across Different Worlds
著者: Taoyong Cui, Zhongyao Wang, Xinyue Xu et al.
世界モデリングは、結果を予測し、介入を導き、相互作用から学ぶことを知能に可能にする（56 upvotes）。しかし予測モデルは依然として領域固有であり、「根本的に異なる系をまたいで世界モデリングを支えられる共通の学習原理はあるか」という問いに対し、本研究は領域非依存の枠組み JEPA-Anything を提示する。
新規性: 世界モデルの一般性を対象領域の拡張ではなく学習原理の側に求めた点が中核である。世界モデルは映像予測やロボット制御といった特定の様相ごとに設計されるのが通例である——だが予測誤差を潜在空間で取る JEPA 系の定式化には、入力が何であるかに踏み込まない構造がある。領域非依存を明示的な設計目標に据える構成は、その構造が本当に系をまたぐのかを検証するためのものである。
手法: Joint Embedding Predictive Architecture の考え方を領域非依存の枠組みへ一般化し、異なる系にまたがる予測モデルを共通の学習原理から構築・評価する。
RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
著者: ZhuoXin Liu, Zhiming Ma, Ying Zhang et al.
プラットフォーム上の不正キャンペーンは、絵文字・同音異義語・文字の分解・冗長な記号を用いて誘導の指示を隠し、偽装されたリンク経由でポルノ・詐欺・賭博・違法取引に関わるサービスへユーザーを誘導する（42 upvotes）。既存のベンチマークは難読化されたテキストの評価に留まると本研究は指摘する。
新規性: 難読化対策の評価を復元単体ではなく「復元 → 証拠に基づく調査」の連鎖として構成した点が中核である。この種のタスクは隠された文字列を元に戻せるかという言語理解の問題として測られるのが通例である——だが実際の運用では、復元した誘導先が本当に不正であるかを外部の証拠から裏付ける工程まで含めて初めて対処につながる。Web 調査を評価対象に組み込む構成は、その工程の分断を埋めるためのものである。
手法: 絵文字・同音置換・文字分解等で難読化されたプラットフォームメッセージの復元と、その結果を出発点とする証拠に基づく Web 調査を、連続したタスク系列として評価するベンチマークを構築する。
ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models
著者: Shijie Lian, Bin Yu, Zhaolong Shen et al.
行動トークナイザは自己回帰的な vision-language-action（VLA）モデルの中核を占め、方策学習の目標と、予測トークンから復元される実行可能な指令の双方を規定する（41 upvotes）。しかしその忠実度は、平均二乗誤差のような点ごとの再構成指標で評価されるのが通例だと本研究は指摘する。
新規性: トークナイザの良し悪しを再構成誤差ではなく方策学習と実行の観点から測り直した点が中核である。行動の離散化は信号圧縮の問題として扱われるのが通例である——だが MSE が小さいことは、復元された軌道が物理的に実行可能であることや、自己回帰モデルが学びやすい系列になっていることを保証しない。点ごとの指標から離れる構成は、その保証の欠落を評価設計に反映させるためのものである。
手法: 自己回帰 VLA モデルの行動トークナイザを、点ごとの再構成指標に依拠しない基準のもとで再設計し、方策学習の目標と復元される実行指令の双方への影響を評価する。
VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
著者: Xingyang Li, Dongyun Zou, Shining Zhang et al.
Diffusion Transformer は最先端の動画生成を実現するが、長い時空間系列によって注意が配備コストの支配項となり、実用的な低ビットカーネルには精度と速度の両立が求められる（38 upvotes）。精度を制限するのは外れ値であり、ブロックの量子化スケールがそのブロック内の最大値によって決まってしまう点が問題となる。
新規性: 低ビット注意の精度劣化を量子化手法の細分化ではなく、value の分布そのものを平滑化する前処理として扱った点が中核である。低ビット化は量子化粒度やスケールの推定精度の問題として語られるのが通例である——だがブロック単位のスケールが最大値に律速される構造では、外れ値が一つあるだけで同じブロックの全要素が解像度を失う。value の平滑化と softmax のキャスティングを組み合わせる構成は、その律速そのものを外すためのものである。
手法: value の平滑化により外れ値がブロック量子化スケールを支配する構造を緩和し、softmax のキャスティングと併せて、動画生成 Diffusion Transformer 向けに精度と速度を両立する低ビット注意カーネルを構成する。
Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents
著者: Bofan Chen, Boxuan Zhang, Fei Tang et al.
GUI エージェントは動的なグラフィカルインタフェース上で長期的なタスクを実行するが、ポップアップ・読み込みの遅延・ウィジェットの移動が、実行前に固めた計画を日常的に無効化する（37 upvotes）。近年のエージェントスキル枠組みは再利用可能な手続き的知識をカプセル化してこれを緩和するが、既存のスキル設計には限界があると本研究は指摘する。
新規性: スキルの改訂を追加学習ではなく実行時の内省として構成した点が中核である。エージェントのスキル獲得は収集した軌跡による微調整として実現されるのが通例である——だが GUI は更新のたびに配置が変わり、学習が完了した時点の想定はすでに古くなりうる。学習不要（training-free）な反省・改訂・再利用のループに寄せる構成は、その陳腐化に運用中に追随するためのものである。
手法: 実行結果を反省（Reflect）してスキルを改訂（Revise）し再利用（Reuse）するループにより、モデルの追加学習を伴わずに GUI 操作スキルを進化させる枠組みを構築する。
WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing
著者: Hao Yu, Kang Liu, Linnan Zhao et al.
文書解析は文書画像を構造化されたコンテンツへ変換する作業であり、多様なレイアウトと取得条件をまたいで信頼できる性能が求められる（35 upvotes）。しかし学習コーパスは一般的な文書種と綺麗なデジタルページに偏っており、被覆を広げるだけでは何にどう対処すべきかが規定されないと本研究は指摘する。
新規性: 文書解析の頑健性をデータ被覆の問題から能力（capability）の設計問題へ読み替えた点が中核である。この分野の改善はより多様な文書をデータセットに足すこととして進むのが通例である——だが「傾いたスキャン」「手書きの混在」「複雑な表」はそれぞれ異なる能力を要求し、サンプルを増やしても要求能力が明示されなければ弱点の所在は見えない。被覆から能力へ軸を移す構成は、その所在を設計段階で指定するためのものである。
手法: 文書解析に必要な能力を明示的に切り分けたうえで、端から端までの解析パイプラインと評価を構成し、多様なレイアウト・取得条件における頑健性を能力単位で測定する。
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
著者: Sehee Kim, Yumin Choi, Minki Kang et al.
LLM によるトレーディングエージェントは市場データ・ニュース・実行可能な分析を組み合わせられるが、その振る舞いは配備前に固定された手書きのツール利用方針によって制御されることが多い（34 upvotes）。これは証拠の集め方、ツールの呼び出し方、シグナルの検証方法を適応させる能力を制限する。
新規性: トレーディングエージェントの改善対象をモデルや予測器ではなく「ツール利用の方針」に定めた点が中核である。金融領域の LLM 応用は予測精度や収益率の改善として評価されるのが通例である——だが実運用の差は、どの情報をいつ取りに行き、どう検証してから判断するかという手順の側で生まれ、その手順が配備時に凍結されていれば市場の変化には追随できない。経験から方針を自己改訂する構成は、その凍結を解くためのものである。
手法: 運用中に蓄積した経験に基づいて証拠収集・ツール呼び出し・シグナル検証の方針を改訂する自己進化型のトレーディングエージェントを構成し、静的な手書き方針との比較で評価する。
Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling
著者: Mobina Kashaniyan, Ali Jannesari
テスト時スケーリングは、複数の候補応答を生成して統合することで大規模言語モデルの推論を改善しうる（29 upvotes）。サンプリングに基づく手法では推論予算が生成候補数 N で記述されることが多いが、N は何個生成されたかを語るだけで、それらがどう生成されたかを語らないと本研究は指摘する。
新規性: テスト時スケーリングの予算指標を候補数から生成戦略とエネルギー消費へ置き換えた点が中核である。この分野の比較は「N を揃えた条件での精度」として整理されるのが通例である——だが同じ N でも、独立サンプリングと逐次的な改訂では実際に消費する計算とエネルギーが大きく異なり、精度の差が効率の差と混ざる。生成戦略とエネルギーを軸に据える構成は、その混同を解くためのものである。
手法: 候補生成戦略の違いがテスト時スケーリングの性能とエネルギー消費に与える影響を測定し、候補数 N を予算の代理指標として用いることの妥当性を検証する。
分野別の動向
マルチモーダル統合と世界モデル
MiniMax-H3 の物理世界推論評価と JEPA-Anything が、それぞれ評価と学習原理の側からこの帯を押している。Zing-0.5 は 5B の自己回帰世界モデルを「遊べること（playability）」を設計目標に据え、キーボードとオンラインのテキスト制御を同時に受け付けて、生成された世界を探索し出来事に影響を与えフィードバックに応答する経路を用意する。UFO は、生成モデルの急速な進展に対して評価が大きく遅れているとして、埋め込みベースでも MLLM ベースでもない評価の連鎖（Chain-of-Evaluation）を多モーダル画像生成のために構成する。FLAT は、対比学習で視覚エンコーダを先に訓練してから別の生成モデルを載せる二段構成が、凍結された埋め込みの背後に生成性能を閉じ込めていると指摘し、画像とテキストを 1D の可変長トークンへ再標本化して検索と生成を同じ表現で扱う。PANORAMA は、VLM が流暢で詳細なキャプションを生成できる一方、それを画素へ確実に対応づけることが依然困難であるとして、マスク候補の選択を介した汎光学的な接地キャプショニングを提示する。生成能力の拡張よりも、生成されたものが世界のどこに接地しているかを問う論文が目立つ。
蒸留・強化学習と推論長の制御
When EOS Tokens Disagree が終端トークンの不一致を長さ膨張の原因として切り出したのに対し、When2Think は同じ「長さ」を難易度側から扱い、大規模推論モデルが易しい問題を考えすぎ難しい問題を考えなさすぎるという非効率に対して、一律の長さペナルティや硬直したルーティングが効率税を招くと指摘して難易度を意識した長さ制御を学習する。RetireOPD と What Does Privileged Information Add to On-Policy Self-Distillation? は、特権情報を持つ自己教師からの密な監督が蒸留それ自体の効果にどれだけ上乗せしているかという問いを共有し、Don’t Mask the Environment は標準的な SFT が環境の観測を予測対象にしない慣行を疑う。A Zeroth-Order Paradigm for LLM Preference Alignment は、選好対の尤度マージンが小さい場合の likelihood displacement を動機に、直接選好最適化とは異なる情報抽出の道筋を探る。on-policy 蒸留という枠組みの内部が、この数日で一斉に分解されつつある。
推論効率とメモリ階層
Sample Count Is Not Enough がテスト時スケーリングの予算指標を問い直す一方、VC-Attention は動画生成の低ビット注意カーネルを外れ値の側から実用化する。Fathom は、エージェントのセッションが 100 万トークン規模に達し多数が同時に常駐する状況では、KV キャッシュとそれを順位づけるインデックスがホストメモリに載り、top-k のために n 個すべての鍵を走査する転送量が復号の上限を決めると整理し、クエリごとに読み取り深度を決める走査を提示する。The Other Half of the Memory Wall は、4bit で 19.5GB に達する 35B 級 MoE の推論が重みメモリに縛られ、疎性はトークンあたりの計算を縮めても保持すべきバイト数は縮めないと述べ、ルーティングを学習で予測して SSD からの配信を成立させる。Flattening Every Memory Peak in Long-Context MoE Training は、長文脈・大バッチの MoE 学習ではどれか一つの構成要素のピーク割り当てが device メモリを超えた時点で破綻するため、平均使用量ではなく全ピークの同時抑制が目標になると定式化する。SpectralShift は、線形注意層のスペクトル的性質を考慮せずに継続事前学習で文脈長を伸ばす既存手法の前提を突き、Gated DeltaNet のスペクトル再パラメータ化による文脈窓拡張を示す。
評価とベンチマーク
RiskChainBench と WeVisDoc に加え、この日は評価枠組みの提案が層をなしている。PACT は、採用・医療・金融といった機微な文脈へ企業向け LLM エージェントが配備されるなかで、システムコンテキストに指定された規則への準拠が第一義的な法的関心事であるにもかかわらず、それを測る評価枠組みが存在しないという空白から出発する。VABench は、空間知能が物体位置の記述に留まらず、不完全な観測のもとで欠けている証拠を同定して取得し、共通の空間座標系で解釈して行動することを要求するとして、observe-reason-act-revise の完全なループを評価する。VākQA は、質問応答が高資源言語に偏って進展してきた現状に対し、テルグ語の音声質問応答のベンチマークと、この設定における自動評価の信頼性そのものの定量化を扱う。RelateAnything は、開語彙検出と promptable なセグメンテーションによって分類体系がモデルの外へ出て入力になった一方、関係予測はその移行を経ていないと指摘し、単一アノテーションの 50〜56 述語に縛られた場面グラフの前提を外す。
エージェント応用と身体性
Reflect, Revise, Reuse と EvolveTrade が示す「配備後に方針を書き換える」方向は、この日の他の論文とも接続している。HypoEvolve は、批評・比較・改訂を通じた進化的探索と科学エージェントの組み合わせにおいて、エージェント協調の形態の違いが仮説発見にどう効くかを遺伝的アルゴリズムの枠組みで切り分ける。CERA-MoA は、Mixture-of-Agents がクエリのルーティングとエージェントの微調整を別過程として扱うために、ルーティング戦略が事後学習中の能力変化へ追随できない点を出発点に、両者の共進化を図る。身体性の側では、In-Context Robot Learning with VLM Agents が、有限のデモ集合ではロボットが遭遇するすべての状況を覆えないため、配備時に文脈から学ぶ能力が汎化に不可欠だと述べ、Fingers as Legs は歩行するロボットハンドが同じ指で body を動かし体重を支え環境と相互作用する必要があるという条件のもとで、指の設計と位置制御器を保ったまま技能を学習させる。EventEgoHands++ は、低照度や激しいモーションブラーで従来カメラが破綻する 3D 手メッシュ復元をイベントカメラと実データセットで扱う。