RTX 4090上でVRAM 1GB未満・32Hz動作のVLAモデルTurboVLA（119 upvotes）が最上位。疎な最終報酬をトークン／ターン単位の密な過程信号へ細分化するCoRT・CASTや、身体を介した行動評価のHumanCLAW、テキスト空間での共進化まで、エージェントの学習信号と評価を問う研究が並んだ。
注目論文
TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM
著者: Hengyi Xie, Chenfei Yao, Xianjin Wu et al.
視覚言語行動（VLA）モデルは、視覚観測を大規模言語モデルの表現空間へ射影してからロボット行動へデコードする「V→L→A」経路を採るのが一般的だが、この設計は多大な計算量とメモリを要する（119 upvotes、本日最上位）。
新規性: RTX 4090上でVRAM 1GB未満・32Hzというリアルタイム性能を達成し、VLAモデルの実行効率を大幅に引き上げた点が貢献である。
手法: LLM中心の重い射影パイプラインを見直し、計算とメモリのオーバーヘッドを削ることで、コンシューマGPU上での高速・低メモリ推論を実現する。
CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization
著者: Bo-Wen Zhang, Junwei He, Wen Wang et al.
ルーブリックに基づく強化学習は、明示的な基準に照らしてモデル出力を評価することで言語モデルの訓練を豊かにする（73 upvotes）。だがGRPO型のパイプラインでは、この構造化された判定が応答単位のスカラー報酬へ縮約され、応答全体に一律にブロードキャストされてしまう。
新規性: 応答単位のルーブリック報酬を、反実仮想リプレイによってトークン単位のアドバンテージへ細分化する点が新しい。
手法: 反実仮想リプレイ（Counterfactual Replay）を用いて、ルーブリック判定をトークンレベルの誘導信号へと分解し、どのトークンが評価に寄与したかを踏まえた方策最適化を行う。
HumanCLAW: Can Vision-Language Models Act Through a Body?
著者: Siyao Li, Jiawei Gu, Shuai Liu et al.
視覚言語モデル（VLM）が物理的な身体を介して行動できるかを評価するのは難しい（66 upvotes）。行動の結果はVLMの判断とモーター制御の両方に依存するため、タスクが失敗したとき、VLMの選択が悪かったのか制御が実行に失敗したのかを切り分けにくい。
新規性: VLMの判断とモーター制御を切り分けて、身体を介した行動能力を評価するベンチマークを提示した点が貢献である。
手法: 判断と実行の寄与を分離できる評価設計を導入し、失敗要因をVLMの意思決定側と運動制御側に帰属できるようにする。
DecoEvo: Score-Decoupled Co-Evolution of Solver and Rubric-Generator Skills in Text Space
著者: Jiangwang Chen, Zixin Song, Junlin Liu et al.
テキスト空間最適化は、モデルの重みではなく外部の自然言語アーティファクトを編集してLLMを適応させるため、最適化されたアーティファクトが検査可能でモデルをブラックボックスとして扱える（54 upvotes）。しかし既存のテキスト空間手法の多くは評価を固定しており、オープンエンドな課題では限界がある。
新規性: ソルバのスキルとルーブリック生成器のスキルを、スコアを分離した形で共進化させる点が新しい。
手法: 解を生成するソルバと評価基準を生成するルーブリック生成器のスキルをスコア分離（score-decoupled）して同時進化させ、評価を固定せずテキスト空間で最適化を進める。
CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
著者: Lai Wei, Chengqi Li, Jiapeng Li et al.
実世界のタスクでは、事前学習知識だけに頼るのではなく、タスク固有の文脈から学ぶことがしばしば求められる（40 upvotes）。この能力は文脈学習として注目されてきたが、既存の評価は主にテキストの文脈に偏っている。
新規性: グラウンディングから知識獲得までを含む形で、マルチモーダルな文脈学習を評価するベンチマークを構築した点が貢献である。
手法: テキストに限らないマルチモーダルな文脈を対象に、グラウンディング能力から知識獲得能力までを段階的に測る評価を設計する。
CAST: Game Solvers as Turn-Level Teachers for LLM Agents
著者: Yu Wang, Yi-Kai Zhang, Wentao Shi et al.
長期的なゲームで行動するようLLMを訓練することは、汎用的な意思決定への有望な一歩だが、検証可能報酬による強化学習（RLVR）は疎な最終報酬に頼るため、どの決定が成否を決めたのかがほとんど分からない（28 upvotes）。
新規性: ゲームソルバをターン単位の教師として使い、疎な最終報酬に頼らずLLMエージェントに密な過程信号を与える点が新しい。
手法: ゲームソルバの解を各ターンの教師信号として活用し、最終報酬だけでは得られない過程レベルの密な監督をエージェントに供給する。
SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution
著者: Zhiyuan Yao, Yuxin Chen, Zhengxi Lu et al.
LLMエージェントは、関連しつつも異なるタスクに繰り返し出会い、それらは再利用可能な解法パターンを共有していることが多い（18 upvotes）。しかし標準的なエージェント強化学習はタスクを独立したエピソードとして扱い、既存のスキル学習も単一タスクの反復試行やパイプラインに留まる。
新規性: 再利用可能な解法パターンをタスクを跨いで進化させる、クロスタスクのスキル進化を実現した点が貢献である。
手法: タスクを独立エピソードとして扱わず、複数タスクで共有される解法パターンをスキルとして抽出・進化させるエージェント強化学習の枠組みを構築する。
Visual prompt engineering for video models
著者: Robert Geirhos, Yuxuan Li, Thaddäus Wiedemer et al.
基盤モデルの時代においては、モデルはそのプロンプト次第でしかない（15 upvotes）。この理由からプロンプトエンジニアリングは言語モデルの性能向上に不可欠な技術となった。動画モデルが視覚タスクの基盤モデルになりつつある今、同様の工夫が有効かを問う。
新規性: 視覚推論などの基盤モデルとなりつつある動画モデルに対し、視覚的プロンプトエンジニアリングが有効かを検証した点が新しい。
手法: 動画モデルへの入力に視覚的なプロンプトを付与する手法を検討し、言語モデルにおけるプロンプトエンジニアリングに相当する効果が視覚領域でも得られるかを実験的に評価する。
Shieldstral
著者: Antonia Calvi, Avinash Sooriyarachchi, Giada Pistilli et al.
Shieldstralは、3Bパラメータのポリシー適応型マルチモーダル安全分類器である（14 upvotes）。テキストの安全性ベンチマークで、約7倍規模のモデルに匹敵または凌駕し、マルチモーダル安全分類で新たなSOTAを打ち立てた。
新規性: 3Bという小規模で、コンテンツモデレーションを二値問題として定式化し、はるかに大きいモデルに匹敵する安全分類性能を達成した点が貢献である。
手法: コンテンツモデレーションを二値質問として定式化し、ポリシーに適応可能なマルチモーダル安全分類器を構築することで、小規模モデルながら高い分類性能を実現する。
Reinforcement Learning for Code Optimization
著者: Pierre Chambon, Kunhao Zheng, Juliette Decugis et al.
コード正しさに対するRLは確立している。モデルにプログラムを生成させ、隠れたテストケースで実行し、通過した解に報酬を与える（9 upvotes、Meta）。これをコード最適化へ拡張するのは一見単純に見えるが、実行時間を報酬に組み込むと報酬ハッキングの問題が生じる。
新規性: 実行時間を報酬に組み込んでコード最適化をRLで学ぶ際に生じる報酬ハッキングの問題に正面から取り組む点が新しい。
手法: 正しさに加えて実行時間を報酬とする設定で、報酬ハッキングを避けつつコードを最適化するようモデルを訓練する手法を検討する。
分野別の動向
過程報酬とエージェント強化学習
疎な最終報酬をどう密な学習信号へ分解するかを問う研究が集中した。CoRT（73 upvotes）はGRPO型RLの応答単位ルーブリック報酬を反実仮想リプレイでトークン単位へ細分化し、CAST（28 upvotes）はゲームソルバをターン単位の教師として密な過程信号を与える。SkillRise（18 upvotes）は再利用可能な解法パターンを跨タスクで進化させ、Reinforcement Learning for Code Optimization（Meta）は実行時間を報酬に据える際の報酬ハッキングに取り組む。「最終結果だけでなく、途中のどの決定が良かったか」を学習に取り込む方向が共通の焦点になっている。
視覚・行動の基盤モデルと効率化
知覚と行動をつなぐ基盤の効率化・実用化が進んだ。TurboVLA（119 upvotes、本日最上位）はRTX 4090上でVRAM 1GB未満・32HzのリアルタイムVLAを実現し、HumanCLAW（66 upvotes）はVLMの判断とモーター制御を切り分けて身体を介した行動能力を評価する。Visual prompt engineering for video models（15 upvotes）は基盤モデル化する動画モデルへの視覚的プロンプトの有効性を問い、実世界で動くモデルの効率と評価が並んで前景化した。
評価・最適化・安全性
学習と検証の設計を問う研究も現れた。CLBench-V（40 upvotes）はテキストに偏りがちな文脈学習評価をマルチモーダルに拡張し、DecoEvo（54 upvotes）はソルバとルーブリック生成器のスキルをスコア分離して共進化させる、評価を固定しないテキスト空間最適化を提示する。Shieldstral（14 upvotes）は3Bで約7倍規模に匹敵するマルチモーダル安全分類を達成しており、評価の妥当性・最適化の設計・安全性の効率化がそれぞれ更新された。