訓練-推論のミスマッチに着目しLLM強化学習の真の目的を問い直すMirageが141 upvotesで最高注目。GRPO系3手法を群標準偏差への単一操作へ統一する視点や、ステップ単位の医療RLなど強化学習の理論的再考が層を成し、DiT量子化・学習不要の拡散加速・VLAランタイムといった効率化研究が並んだ。
注目論文
The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
著者: Jing Liang, Hongyao Tang, Yi Ma et al.
LLM後訓練で注目が高まる強化学習（RL）は不安定で崩壊しやすく、その一因が訓練-推論のミスマッチにあると指摘する研究（141 upvotes）。LLMは生成効率のため推論と訓練で別々のエンジンを用いるが、両者のずれがRLを脆くする。
新規性: 訓練ポリシーそのものの最適化を追い求める従来の見方を「幻想（mirage）」と捉え直し、単調な推論ポリシー（monotonic inference policies）こそがLLMのRL後訓練が本来目指すべき真の目的だと論じた点が貢献である。
手法: 訓練用と推論用でエンジンが分かれることに起因するミスマッチを問題の核と据え、最適化対象を推論ポリシーの単調な改善へと据え直すことで、RL訓練の不安定さや崩壊を抑える視座を提示する。
Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots
著者: Ling Xu, Chuyu Han, Borui Li et al.
VLA（Vision-Language-Action）モデルと世界行動モデル（WAM）を、異種のエッジロボット上で動かすための可搬な推論ランタイム（36 upvotes）。実運用はモデル固有のPythonスタックやバックエンド前提、ロボット側の接着コードで断片化している。
新規性: モデルごとに分断された既存の推論ランタイムに対し、身体化AIモデルを異種エッジデバイス横断で動かせる可搬なランタイムを提示し、デプロイの断片化を解消する点が新しい。
手法: VLA/WAMといった身体化AIモデルの推論を、バックエンド前提やロボット側グルーコードから切り離した統一ランタイムとして実装し、異種ロボット上での可搬な実行を可能にする。
Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
著者: Xingyu Zheng, Xianglong Liu, Yifu Ding et al.
カスタムカーネルやシステムレベル最適化なしにテキスト画像拡散を高速化する、学習不要の加速手法（33 upvotes）。タイムステップ蒸留や特徴キャッシュと同様にハードウェア非依存な多解像度生成戦略が近年注目を集めている。
新規性: 追加学習を要さず、段階的サンプリング（staged sampling）による多解像度のフローマッチングとして拡散生成を高速化する点が貢献である。
手法: 生成を段階的な解像度で進めるサンプリング設計を導入し、カーネル自作やシステム最適化に頼らずに推論時間を削減する。
OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers
著者: Donghyun Lee, Jitesh Chavan, Duy Nguyen et al.
画像・動画生成で最先端の拡散トランスフォーマ（DiT）を対象にした、データ非依存の学習後量子化（PTQ）（27 upvotes）。DiTは多段サンプリングとパラメータ増大で推論が高価だが、活性化がタイムステップ・プロンプト・ガイダンス分岐で揺らぐため量子化が難しい。
新規性: タイムステップやプロンプト、ガイダンス分岐をまたいで大きく変動するDiT活性化に対し、キャリブレーションデータに依存しないデータ非依存の量子化を実現した点が新しい。
手法: 揺らぐ活性化分布を前提に、データ非依存で適用可能な学習後量子化スキームを設計し、多段サンプリングを伴うDiTの推論コストを削減する。
VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon
著者: Yi Pan, Miao Pan, Qi Lu et al.
行動チャンク機構で複数の未来行動を開ループ実行するVLAに、検出と補正を組み合わせて適応的な行動ホライズンを与える軽量推論（22 upvotes）。ポリシー呼び出し頻度を下げつつ時間的整合性を保つため、多くの生成ポリシーは開ループでチャンクを実行する。
新規性: 固定的な行動チャンクの開ループ実行に対し、検出（detect）と補正（correct）を推論時に軽量に挟むことで、状況に応じて行動ホライズンを適応的に調整できるようにした点が貢献である。
手法: 実行中の逸脱を検出して補正をかける仕組みを推論に組み込み、ポリシー呼び出し頻度と整合性のトレードオフを、行動ホライズンの適応的な調整によって改善する。
Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning
著者: Junha Jung, Minbyul Jeong, Suhyeon Lim et al.
最終答えの正誤や系列単位の選好に依存する既存の後訓練を脱し、ステップ単位の強化学習で医療マルチモーダル推論を鍛える手法（20 upvotes）。従来のアウトカム中心の学習は信用割当が疎で、誤りの連鎖（failure cascade）を断ち切りにくい。
新規性: 最終答え依存の疎な信用割当という弱点に対し、推論の各ステップを意識した（step-aware）強化学習を導入し、失敗の連鎖を断つ点が新しい。
手法: 系列全体ではなく推論ステップごとに報酬・信用を割り当てるRLを設計し、臨床画像推論における誤りの伝播を抑えて信頼性を高める。
SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
著者: Jiayin Zhu, Kelong Mao, Yudong Guo et al.
SOPやドメイン規則、ツールワークフローを束ねる「スキル」を、LLMエージェントが確実に使えるよう評価・強化する枠組み（17 upvotes）。現実のスキルリポジトリでは重複するスキルが混在し、最終検証の成否だけでは粒度が粗すぎる。
新規性: 最終的な検証成功という粗い指標に代えて、自己進化するルーブリック（self-evolving rubrics）でエージェントのスキル利用を細かく評価し、同時に改善へつなげる点が貢献である。
手法: 重複するスキル群でのスキル利用を対象に、評価基準（ルーブリック）自体を学習の中で進化させ、評価と強化を一体で回す仕組みを構成する。
DataComp-VLM: Improved Open Datasets for Vision-Language Models
著者: Matteo Farina, Vishaal Udandarao, Thao Nguyen et al.
高性能なVision-Language Model（VLM）に不可欠な大規模学習データのキュレーション戦略を、体系的に比較評価するデータ中心ベンチマーク（15 upvotes）。コミュニティにはキュレーションの良し悪しを測る統一的な基盤が欠けていた。
新規性: VLM向けの制御されたデータ中心実験（DCVLM）を可能にし、キュレーション戦略を横並びで評価できるベンチマークとして整備した点が新しい。
手法: 学習データのキュレーション手法を統制条件下で比較する枠組みを用意し、どのデータ選別がVLM性能を高めるかを体系的に測定・改善できるようにする。
DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation
著者: Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami et al.
大モデル・長文脈・反復推論に依存しがちなメモリ拡張エージェントを、二空間蒸留によってオンデバイスで動くよう軽量化する研究（9 upvotes）。多ターンの環境相互作用で複雑な手続きタスクを解く能力は、リソース制約下での展開が難しかった。
新規性: 高性能なメモリエージェントの前提だった大規模モデルと長文脈への依存を、二空間蒸留（dual-space distillation）で緩和し、オンデバイス動作を狙う点が貢献である。
手法: メモリ拡張エージェントの能力を二つの空間で蒸留することで、長文脈や反復推論のコストを抑えつつ、リソース制約のある端末上でも手続きタスクを解けるようにする。
GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity
著者: Yong Yi Bay, Kathleen A. Yearick
LLMを推論向けに訓練する代表的な3手法GRPO・Dr. GRPO・DAPOが、実は「群標準偏差」という単一の数への操作に還元できると示す統一的視点（6 upvotes）。一見異なる3つの工夫は、プロンプトの回答のばらつきを表す標準偏差を三通りに調整しているに過ぎない。
新規性: 別物に見える3つの人気RL手法を、群標準偏差という一つの量への操作として統一的に説明する恒等式（identity）を導いた点が新しい。
手法: 各手法が同一プロンプトへの複数回答の不一致（標準偏差）をどう扱うかを整理し、三手法を単一の数への操作の違いとして定式化することで、手法間の関係を透明化する。
分野別の動向
強化学習の理論と後訓練
本日はLLMの強化学習を理論から問い直す研究が層を成した。最高注目のThe Mirage of Optimizing Training Policies（141 upvotes）は、訓練-推論のミスマッチを核に据え、単調な推論ポリシーこそがRL後訓練の真の目的だと主張する。GRPO, Dr. GRPO, and DAPO（6 upvotes）は主要な3手法が群標準偏差への単一操作に還元できると明かし、Breaking Failure Cascades（20 upvotes）はステップ単位のRLで医療マルチモーダル推論の疎な信用割当を克服する。「何を最適化しているのか」を問い直す視点が、手法の乱立に対する整理として現れている。
効率化・量子化・オンデバイス
推論コストの削減も引き続き主戦場となった。OrbitQuant（27 upvotes）は揺らぐDiT活性化に対するデータ非依存の学習後量子化を、Multi-Resolution Flow Matching（33 upvotes）は段階的サンプリングによる学習不要の拡散加速を提示する。DuoMem（9 upvotes）は二空間蒸留でメモリ拡張エージェントをオンデバイス化する。生成モデルとエージェントの双方で、追加学習やカスタムカーネルに頼らずコストを下げる方向が模索されている。
身体化AIとVLA
ロボティクス寄りの実装研究も目立った。Embodied.cpp（36 upvotes）はVLA/世界行動モデルを異種エッジロボット上で動かす可搬な推論ランタイムを、VLA-Corrector（22 upvotes）は開ループ実行される行動チャンクに検出と補正を挟んで適応的な行動ホライズンを与える。断片化した実行環境の統一と、開ループ推論の安定化という運用課題が焦点となっている。
エージェント評価とデータ中心の研究
エージェントとデータの質を測る研究も並んだ。SkillCoach（17 upvotes）は自己進化するルーブリックでエージェントのスキル利用を評価・強化し、DataComp-VLM（15 upvotes）はVLM学習データのキュレーション戦略を統制条件下で比較する。能力を「どの粒度・どのデータで測るか」という設計が、依然として競争軸であり続けている。