VC-Attentionが35 upvotesで首位となり、動画拡散の低bit注意カーネルが注目を集めた。同時にEvolveTrade・HypoEvolveなど経験から方針を自己進化させるエージェント研究と、EOSトークン不一致・SpectralShiftといった学習・文脈長の内部機序を掘る論文が並び、推論効率とエージェント自律化の両輪が進んだ一日である。
注目論文
VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
著者: Xingyang Li, Dongyun Zou, Shining Zhang et al.
Diffusion Transformer は動画生成で最高水準の品質を出すが、長い時空間系列のために注意機構が展開時のコストの大半を占める（35 upvotes）。実用に足る低bitカーネルは正確かつ高速でなければならず、その精度はブロック内の量子化スケールが最大の値で決まってしまう外れ値に制約される。
新規性: 低bit化の障害を「量子化アルゴリズムの選び方」ではなく「値そのものの分布と softmax の型変換」の問題として切り分けた点が中核である。注意の量子化はスケールの粒度を細かくする方向で進められるのが通例である——だがブロック内に一つでも極端な値があれば、その粒度をどれだけ下げても他の要素の有効ビット数は削られたままになる。value の平滑化と softmax のキャスティングを組み合わせる構成は、その制約自体を動かすためのものである。
手法: ブロックごとの量子化スケールを支配する外れ値に対し value 側の平滑化を施し、softmax 部分のキャスティングと合わせて、精度を保ちながら実行可能な低bit注意カーネルを構成する。
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
著者: Sehee Kim, Yumin Choi, Minki Kang, Sung Ju Hwang
LLM の取引エージェントは市場データ・ニュース・実行可能な分析を組み合わせられるが、その振る舞いは配備前に固定された手書きの静的なツール利用方針に支配されているのが実情である（31 upvotes）。これにより、証拠の集め方・ツールの呼び出し方・シグナルの検証方法を状況に応じて変える能力が制限される。
新規性: エージェントの改善対象をモデルの重みやプロンプト文面ではなく「ツール利用の方針そのもの」に定めた点が中核である。金融エージェントの研究は予測精度やバックテスト成績の改善として進むことが多い——だが実運用で効くのは、どの情報をどの順で取りに行くかという手続きの側であり、そこが固定されている限り市場環境の変化には追随できない。経験から方針を精緻化する構成は、その固定を外すためのものである。
手法: 取引の実行経験を蓄積し、それを用いてツール利用・証拠収集・シグナル検証の方針を反復的に改訂する自己進化型のエージェント枠組みを構築する。
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
著者: Yuxiao Yang, Tianrun Yu, Shangzhe Li et al.
on-policy 蒸留 (OPD) において、生徒の応答が過剰に長くなり生成予算を使い切ってしまう「長さの膨張」を扱った研究である（29 upvotes）。本研究はその主要因として、ベースの生徒モデルと事後学習済みの教師モデルとの間の終端トークン（termination token）の不一致を特定している。Qwen3・Llama を含む複数系統で検証している。
新規性: 蒸留時の冗長化を、報酬設計や長さペナルティで抑えるべき挙動ではなく、生徒と教師が「どこで文を終えるか」についての合意を欠いていることに起因する機序として同定した点が中核である。応答長の制御は長さ罰則やルーティングで扱われるのが通例である——だが終端の判断そのものが噛み合っていないなら、罰則は症状を押さえるだけで原因には届かない。EOS の不一致に照準する構成は、その原因側を扱うためのものである。
手法: on-policy 蒸留における応答長の膨張現象を分析し、ベース生徒と事後学習済み教師の終端トークン分布の不一致を主要因として切り出したうえで、複数のモデル系統で検証する。
Zing-0.5: Toward Playable Worlds with Real-Time Joint Action and Text Control
著者: Mingyang Chen, Shengdong Chen, Xiaoxiao Fu et al.
Zing-0.5 は「遊べること（playability）」を目標に設計された 5B の自己回帰ワールドモデルである（29 upvotes）。利用者は生成された世界を探索し、展開する出来事に影響を与え、その結果として返るフィードバックに対してキーボード操作とオンラインのテキスト制御を同時に用いて応答できる。
新規性: ワールドモデルの評価軸を映像の忠実度ではなく「操作に対してリアルタイムに応答すること」に据えた点が中核である。動画生成系のワールドモデルは条件付き生成の品質として評価されるのが通例である——だが遊べる世界であるためには、入力から反映までの遅延と、操作系（キーボード）と言語系（テキスト）という異質な制御を同一のループで受け付ける構造が要る。両者の同時制御を前提に置く構成は、その要件を設計に組み込むためのものである。
手法: 統合的な表現のもとで、キーボードによる行動入力とオンラインのテキスト制御を同時に受け取る 5B 規模の自己回帰ワールドモデルを構築する。
HypoEvolve: Genetic Algorithms Enable Multi-Agent LLMs to Discover Scientific Hypotheses
著者: Jieyuan Liu, Mengzhou Hu, Jefferson Chen et al.
科学エージェントは証拠の統合・提案の評価・新たな説明の構築を通じて仮説の発見に寄与する（25 upvotes）。近年のシステムは科学エージェントと進化的探索を、批評・比較・改訂という形で組み合わせている。しかし、エージェントの協調の形態の違いが結果にどう効くのかは明らかでない。
新規性: 進化的探索の対象を仮説そのものだけでなく「エージェントの協調の仕方」にまで広げた点が中核である。マルチエージェント系の設計は人手で役割分担を決めるのが通例である——だがどの協調形態が探索に効くかは対象領域に依存し、事前に決め打つ根拠は乏しい。遺伝的アルゴリズムで協調形態を探索する構成は、その決め打ちを外すためのものである。
手法: 遺伝的アルゴリズムを用いてマルチエージェント LLM の協調形態を探索し、批評・比較・改訂のループと組み合わせて科学仮説の発見を行う枠組みを構築する。
JEPA-Anything: Learning Predictive Models across Different Worlds
著者: Taoyong Cui, Zhongyao Wang, Xinyue Xu et al.
ワールドモデリングは、結果を予測し、介入を導き、相互作用から学ぶことを知能に可能にする（23 upvotes）。しかし予測モデルは依然として領域固有であり、本研究は「共通の学習原理が根本的に異なる系にまたがるワールドモデリングを支えうるか」を問い、領域非依存の枠組み JEPA-Anything を提示する。
新規性: ワールドモデルを対象領域ごとの設計物ではなく、領域をまたいで成立する一つの学習原理の適用例として扱う点が中核である。世界モデルの研究はロボティクス・動画・物理シミュレーションといった領域ごとに個別の表現を前提に進む——だが原理が共通なら、領域ごとの作り込みは本質ではないことになる。JEPA を領域非依存の枠に据え直す構成は、その問いを実証的に検証するためのものである。
手法: JEPA（Joint-Embedding Predictive Architecture）を領域非依存の枠組みに拡張し、根本的に異なる系に対して共通の予測モデル学習原理が成立するかを検証する。
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
著者: Zian Liu, Yiwen Hu, Zican Dong et al.
長文脈モデリングにおいて softmax 注意を置き換える形で線形注意層の採用が進んでいる（23 upvotes）。しかし既存の文脈長拡張の手法は、これらの層に手を加えないまま継続事前学習を適用するのが通例であり、線形注意のスペクトル特性を見落としていると本研究は指摘する。
新規性: 文脈長拡張の失敗を学習データや位置符号化の問題ではなく、線形注意層の状態遷移が持つスペクトル特性の問題として捉え直した点が中核である。文脈拡張は RoPE のスケーリングと継続事前学習の組み合わせで扱われるのが通例である——だが線形注意は状態を再帰的に更新する機構であり、その固有値の分布が情報の保持できる長さを実質的に決めてしまう。スペクトル再パラメータ化を持ち込む構成は、その決定要因に直接触れるためのものである。
手法: Gated DeltaNet の線形注意層についてスペクトル再パラメータ化を行い、継続事前学習のみに依拠しない形で有効文脈長を拡張する。
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
著者: Haoyu Zhao, Zihao Zhao, Tianyu Deng et al.
Omni-Modal Generative Models（Omni-Models）は、テキスト・画像・動画・音声の統一的なモデリングへとコンテンツ生成を進めてきた（21 upvotes）。MiniMax-H3 はマルチモーダルな文脈理解と音声・映像の同時生成を共有の潜在枠組みで結合しており、この移行を体現するモデルである。
新規性: 統合生成モデルの評価を生成品質ではなく「物理世界についての推論能力」として立てた点が中核である。マルチモーダル生成の評価は忠実度や人間の選好で測られるのが通例である——だが音声と映像を同時に生成できることは、その世界が物理的に整合していることを保証しない。物理推論を軸に据える構成は、統合表現が何を理解しているのかを切り分けるためのものである。
手法: 音声・映像の同時生成を共有潜在空間で行う Omni-Model である MiniMax-H3 を対象に、物理世界に関する推論能力を評価する枠組みを構成する。
RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
著者: ZhuoXin Liu, Zhiming Ma, Ying Zhang et al.
プラットフォーム悪用のキャンペーンは、絵文字・同音異字・文字の分解・冗長な記号を用いて誘導の指示を隠し、偽装されたリンク経由で利用者をポルノ・詐欺・賭博・違法取引に関連するサービスへ送り込む（17 upvotes）。既存のベンチマークは難読化されたテキストの評価に留まっていると本研究は指摘する。
新規性: 難読化テキストの復元だけでなく、復元後に「証拠に基づく Web 調査」を行うところまでを一続きのタスクとして定式化した点が中核である。悪用検知のベンチマークはテキスト分類または復元の精度として構成されるのが通例である——だが実際の判断には、復元された誘導先を辿って何が起きているのかを証拠付きで確かめる工程が要る。両者を鎖として繋ぐ構成は、その工程を評価に含めるためのものである。
手法: 絵文字・同音異字・文字分解などで難読化されたプラットフォームメッセージの復元と、その結果に基づく証拠準拠の Web 調査を一体で評価するベンチマークを構築する。
In-Context Robot Learning with VLM Agents
著者: Dongzhou Cheng, Taoran Yi, Ye Fang et al.
ロボットが人間と同じように未知の環境へ適応できるようにすることは、身体化 AI の遠大な目標であり続けている（16 upvotes）。有限の実演の集合では、ロボットが遭遇するあらゆるタスクと状況を覆うことはできず、配備時に文脈から学ぶ能力が汎化のために不可欠になる。
新規性: ロボットの適応を追加学習ではなく、VLM エージェントの文脈内学習として扱う点が中核である。未知環境への対応は追加の実演収集とファインチューニングで扱われるのが通例である——だが配備先で起きることを事前に列挙できない以上、収集そのものが追いつかない。文脈内での適応に賭ける構成は、その追いつかなさを回避するためのものである。
手法: VLM エージェントを用い、配備時に与えられる文脈から実演の範囲外の状況へ適応する in-context のロボット学習枠組みを構成する。
分野別の動向
推論効率とメモリ階層
VC-Attention の低bit注意に象徴されるように、この日も推論・学習のコスト構造を扱う論文が厚い。Fathom は、エージェントのセッションが 100 万トークンに達し多数が同時に常駐する状況で、KV キャッシュとそのインデックスがホストメモリに載り、top-k のために全キーを走査するトラフィックがデコード速度を律速すると述べ、クエリごとに読み取り深度を決める方式を提示する。The Other Half of the Memory Wall は MoE 推論を重みメモリ律速の問題として扱い、4bit でも 19.5GB になる 35B 級モデルについてスパース性が削るのは計算量であってバイト数ではないと指摘し、ルーティング予測の学習によって SSD からのオフロードを成立させる。Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training は同じ問題を学習側で扱い、平均使用量ではなく「あらゆるピークを同時に抑えること」が目標だと述べる。Block Parallelism は block diffusion 言語モデルの長文脈学習を対象に、目的関数が対象ブロックごとに分離する性質を利用した新しい並列化次元を導入し、256K 文脈で 1.18〜1.45 倍の高速化を報告している。Sample Count Is Not Enough は角度を変え、test-time scaling の予算を候補数 N だけで記述するのは不十分だと指摘する——N を固定したまま生成スケジュールを 1x8 から 8x1 へ変えると、A100 上で GPU 消費エネルギーが 4.64〜4.86 倍、P95 レイテンシが 5.77〜6.12 倍になるという測定である。
エージェントの自己進化と長期運用
EvolveTrade と HypoEvolve が示すように、エージェントを固定された構成物ではなく改訂され続けるものとして扱う研究が並んだ。Self Improvement via Fast Tree-search (SIFT) は、自己改変の候補評価がベンチマークの再実行に依存するため実行時間の律速になる点を出発点に、LLM-as-a-judge によるペア比較を Bradley-Terry モデルで集約し、高コストな下流評価を有望なノードにのみ配分する。Reflect, Revise, Reuse は GUI エージェントのスキルを訓練なしで進化させる方向を扱い、ポップアップや遅延読み込みが実行前に固めた計画を日常的に無効化する問題に対処する。EconSkills は検証済みの軌跡をパラメータ化された標準作業手順として蒸留し、「既知の手順が未見タスクへ転移するか」と「ライブラリから選択してその利得を保てるか」を分離して評価する。An Architecture for Long-Horizon Agents は、数日から数週間に及ぶ作業はどのコンテキストウィンドウよりも長く生き延びるため、その能力はモデルではなくハーネス側にあると主張し、時間スケールごとの階層・クロックで刻まれる tick・失敗時のみ上位モデルへ委譲する cascaded intelligence の三部構成を提示する。Continual Enterprise World Model Discovery は、組織ごとに書かれ改訂されていく業務ルールを相互作用から発見し続ける課題を、ServiceNow 実環境上のベンチマークとして定式化している。
安全性と評価の再設計
RiskChainBench のほか、エージェントの安全性を「モデルの応答」ではなく「実行前の判断」として測る研究が目立った。Closed-World Resolution Against Tool Hallucination は、存在しないツールを呼び出しスキーマにない引数を渡すという失敗が、ツール選択にもツールゲーティングにも構造的に扱えない死角であることを示す——幻覚された呼び出しはそもそもどのゲートも下していない判断だからである。10 のモデルで 322 件の実際の幻覚を計測し、モデル規模が助けにならないこと（675B が 7〜8B と同水準）、MCP の名前空間統合が単一レジストリでは表現できない新たな幻覚面を生むことを報告する。From Intent to Action は車載音声アシスタントの認可判断を対象に、実行・拒否・確認要求・手動制御への委譲など七分類の事前判断を切り出し、最良のモデルでも非実行シナリオ 161 件のうち 2〜3 件で誤って実行を選ぶと述べ、構造化された LLM 判断は単体の安全機構としては不十分だと結論する。MAGS は Dafny を検証対象の中間表現に据え、人間が監査した API と安全要件を凍結したうえで生成コードを機械的に検査する枠組みを 220 例で評価する。評価の側では、What Do We Expect from LLMs? が 2022 年 1 月から 2026 年 8 月までの 14,767 本の評価リソース論文を体系的に地図化し、LLM ベースの採点が agent 系・非 agent 系の双方で増える一方、モデル生成の評価素材には同程度の持続的増加が見られないと報告している。
強化学習と学習信号
When EOS Tokens Disagree に加え、学習信号そのものの性質を問う論文が続いた。Advantage Scale Calibration Imbalance は、グループ相対最適化におけるアドバンテージのスケールが実装上の些事として扱われがちだと指摘し、分解能以下のジッタと「小さいが信頼できる差」を分離したうえで、同一のスケール分母が報酬項の強さ・プロンプト単位のバッチ重み・実効 KL 較正を同時に決めてしまう三方向の結合を示す。Reach or Solve? は、閉ループで動くエージェントが自らの入力を書いている——各観測は自身の過去の行動から生じる——ため、SFT チェックポイントと RL チェックポイントが同一タスクでも異なる状態から採点されていると指摘し、到達点の変化と到達後の振る舞いの変化を分離する checkpoint handoff という評価手続きを導入する。両方が到達した状態に比較を限定する素朴な対処は結果に対する選択になり、実データでは効果の符号が反転したと報告している。Compositional Reasoning in Language Models under RL Post-Training は、分解されたスキルの学習が合成タスクへ確実には転移しない一方、合成タスクの学習は分解タスクへより容易に戻るという非対称性を、依存グラフの枠組みのもとで実証と理論の双方から示す。