コーディングや多段ツール使用エージェントの報酬設計と評価が研究の中心に並んだ。オンポリシー蒸留や監督信号でエージェントRLを安定化させる手法、検証の限界を突く論文に加え、投機的デコーディングや視覚量子化など効率化研究も厚い。
注目論文
OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning
著者: Shuo Yang, Jinyang Wu, Zhengxi Lu et al.
成果ベースの強化学習はエージェント学習に安定した最適化基盤を与えるが、軌跡レベルの疎な報酬では、どの中間判断を強化・抑制すべきかの指針がほとんど得られない（45 upvotes）。一方でオンポリシー自己蒸留は密なトークンレベルの監督を与えられる。
新規性: 疎な軌跡報酬の弱点を、オンポリシーなスキル蒸留によって補い、密なトークンレベル監督をエージェントRLに統合した点が貢献である。
手法: 学生モデル自身の生成軌跡に対しオンポリシーで自己蒸留を行い、トークン単位の密な学習信号を成果ベースRLに組み合わせることで、中間決定への指針を与えながらエージェントの方策を安定して改善する。
The Verification Horizon: No Silver Bullet for Coding Agent Rewards
著者: Binghai Wang, Chenlong Zhang, Dayiheng Liu et al.
「解を検証する方が生成するより易しい」という古典的直感が、今日のコーディングエージェントでは逆転しつつあると論じる研究（40 upvotes）。基盤モデルの推論能力とエンジニアリングハーネスが高度化した結果、複雑な候補解の生成は容易になった。
新規性: 検証が生成より易しいという前提の逆転を「検証の地平（verification horizon）」として明示し、コーディングエージェントの報酬設計に万能策が存在しないことを示した点が貢献である。
手法: コーディングエージェントの報酬・検証の枠組みを分析し、生成された複雑な解の検証がボトルネック化する状況を整理することで、報酬設計が直面する本質的な限界を明らかにする。
ViQ: Text-Aligned Visual Quantized Representations at Any Resolution
著者: Xumin Yu, Zuyan Liu, Zhenyu Yang et al.
テキストと視覚を統一表現で扱うことはマルチモーダルモデリングの簡素化と効率化につながるが、画像をテキストと同様に離散信号として表現すると深刻な情報損失が生じる（38 upvotes）。既存手法は低レベル情報の保持とテキスト整合性の両立に苦戦してきた。
新規性: 任意解像度で、テキストと整合した視覚量子化表現を、情報損失を抑えつつ実現した点が新しい。離散化に伴う情報欠落と意味整合のトレードオフに対処する。
手法: 画像を離散トークン化する際に、テキスト表現との整合を保ちながら任意解像度に対応する量子化表現を学習し、低レベルの視覚情報の損失を抑えた統一的なマルチモーダル表現を構築する。
JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting
著者: Lanxiang Hu, Zhaoxiang Feng, Yulun Wu et al.
投機的デコーディング（SD）は複数トークンをドラフトして並列検証することで自己回帰LLMを高速化するが、ドラフト予算を増やしても、受理率が高くドラフトのオーバーヘッドが小さい場合にしか速度が伸びないというスケーリング限界を抱える（31 upvotes）。
新規性: 並列ツリードラフティングによって投機的デコーディングのスケーリング限界を突破し、より大きなドラフト予算でも速度向上を引き出せるようにした点が貢献である。
手法: 単純にドラフト数を増やすのではなく、ドラフトを並列なツリー構造で生成・検証することで、受理率を保ちつつドラフトのオーバーヘッドを抑え、投機的デコーディングの高速化効果を底上げする。
GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
著者: Xiao Zhou, Siyue Zhang, Yilun Zhao et al.
コンピュータ操作エージェントはGUI（画面操作）とCLI（プログラム的なコマンド）の双方でタスクを実行できるが、既存評価はインタラクションのモダリティとタスク・初期状態・検証器・許可された行動の違いを混同していた（28 upvotes）。
新規性: 実行レイヤを揃えた統制ベンチマークを導入し、GUIとCLIという操作モダリティそのものに起因する実行ボトルネックを公平に切り分けて比較できるようにした点が貢献である。
手法: タスク・初期状態・検証器・許可行動を揃えた matched execution-layer ベンチマークを構築し、画面のみで操作するエージェントとスキル（コマンド）を介すエージェントの実行効率を同条件で比較・診断する。
Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments
著者: Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel et al.
エージェントシステムが実世界に広く展開されるにつれ、その能力を忠実に評価する需要が高まっている（17 upvotes）。だが既存ベンチマークは普及したアプリ上の比較的単純なタスクに基づき、狭い能力範囲に偏りがちだと指摘する。
新規性: 馴染みのある環境を越えた領域でエージェントを評価し直す枠組みを提示し、既存ベンチが見落としてきた能力面を浮き彫りにした点が貢献である。
手法: 普及アプリ中心・単純タスク中心の評価から離れ、エージェントが慣れない環境・幅広い能力に直面する「ガントレット」的な評価設定を構築し、能力をより忠実に再測定する。
Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It
著者: Yupu Hao, Zhuoran Jin, Huanxuan Liao et al.
ツール使用はLLMが複雑なタスクをこなすことを可能にし、近年のエージェント的RL手法は能力向上に有望だが、RL単独では多段ツール使用タスクで不安定化や利得の限定が起きやすい（15 upvotes）。一部のモデルは破滅的な崩壊を示す。
新規性: 多段ツール使用RLが崩壊・不安定化する原因を分析し、監督信号を導入することでこれを安定化できると示した点が貢献である。
手法: 多段ツール使用におけるRLの不安定性の要因を実験的に切り分け、純粋な強化学習に監督信号を組み合わせることで、学習の崩壊を防ぎツール使用能力を安定して伸ばす。
Autodata: An agentic data scientist to create high quality synthetic data
著者: Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu et al.
AIエージェントをデータサイエンティストとして機能させ、高品質な学習・評価データを自律的に構築する一般的手法を提案する研究（13 upvotes）。さらに、そのデータサイエンティスト・エージェント自身を訓練（メタ最適化）し、より強力なデータを生成できるよう学習させる。
新規性: データ生成を担うエージェント自体をメタ最適化し、より優れた合成データを自律生成できるよう学習させる枠組みを示した点が新しい。
手法: AIエージェントに学習・評価データの設計と生成を委ね、生成されたデータの質を信号としてエージェントをメタ最適化することで、高品質な合成データを継続的に作り出せるデータサイエンティスト・エージェントを構築する。
CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
著者: Issa Sugiura, Daichi Hattori, Kazuo Araragi et al.
LLMエージェントが長期タスクをこなせるようになるにつれ、経済システム内での性能評価の重要性が増している（8 upvotes）。単一エージェントが受動環境とやり取りする既存ベンチと異なり、経済システムは本質的に多エージェントである。
新規性: 受動環境ではなく、異種混在の多エージェント経済系のなかで長期LLMエージェントを評価する新ベンチマークを構築した点が貢献である。
手法: 複数エージェントが相互作用する経済システムを模した環境を設計し、長期的な意思決定を要するタスク上でLLMエージェントの性能を測定することで、受動環境では捉えられない多エージェント下の振る舞いを評価する。
When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents
著者: Josef Chen
ルーティング・投票・カスケード・融合・混合エージェントといった複数モデル統合システムは単一モデルの精度を上回るために使われるが、その利得はある量によって上限付けられると示す研究（3 upvotes）。出力がいずれかのメンバーモデルの解になる方策では、精度は 1 − β を超えられない。
新規性: 複数モデル統合の利得が「共倒れ（co-failure）」確率によって理論上限付けられることを明示し、67のフロンティアモデルで実証した点が貢献である。
手法: 出力が構成モデルのいずれかの解と一致する任意の統合方策について、全モデルが同時に誤る確率 β を用いた精度上限（1 − β）を導き、67のフロンティアモデルにわたる検証でこの「共倒れの天井」の存在を確認する。
分野別の動向
エージェントの報酬・監督信号
本日はエージェント学習における「学習信号の設計」が前面に立った。OPID（45 upvotes）は疎な軌跡報酬をオンポリシー自己蒸留で補い密なトークンレベル監督を導入し、Why Multi-Step Tool-Use RL Collapses（15 upvotes）は多段ツール使用RLが崩壊する原因を分析して監督信号で安定化させる。前回の「報酬・検証・監督という学習信号の質」への関心を引き継ぎ、疎で不安定な報酬をいかに密で安定な信号に変えるかへ議論が深まっている。
エージェントの評価・検証
エージェントを「どう測るか」をめぐる研究も厚い。The Verification Horizon（40 upvotes）は検証が生成より易しいという前提の逆転を指摘し報酬設計の限界を論じ、GUI vs. CLI（28 upvotes）は実行レイヤを揃えてコンピュータ操作エージェントのボトルネックを切り分ける。Running the Gauntlet（17 upvotes）は馴染みの環境を越えた能力再評価を、CoffeeBench（8 upvotes）は多エージェント経済系での長期評価を提案する。さらに When Does Combining Language Models Help?（3 upvotes）は複数モデル統合の利得に共倒れ確率という理論上限を与えており、エージェントの能力を過大評価しないための評価・分析が成熟しつつある。
効率化とマルチモーダル基盤
推論効率と表現の基盤を磨く研究も並んだ。JetSpec（31 upvotes）は並列ツリードラフティングで投機的デコーディングのスケーリング限界を突破し、ViQ（38 upvotes）は任意解像度でテキスト整合な視覚量子化表現を情報損失を抑えて実現する。生成速度と統一表現という、実運用を支える基盤側の改善が着実に進んでいる。
データ生成の自動化
Autodata（13 upvotes）は、データ生成そのものをエージェントに委ねメタ最適化する方向を示した。モデル能力の向上が、学習・評価データを自律的に作り出すエージェントへと波及し始めており、データ構築の自動化が今後の研究基盤を変えていく可能性をうかがわせる。