1タスク数百〜数千ドルかかる長期ターミナルタスクの訓練データを再帰的に合成するRecursive Synthesisが223 upvotesで突出。信用割当を再帰的自己蒸留で解くAgentOPSD、環境ダイナミクスを内在化するEnvACEが続き、エージェントRLの訓練データ・信用割当・環境という三つの制約が同時に攻められた一日である。
注目論文
Recursive Synthesis for Long-Horizon Terminal Tasks
著者: Zhongzhi Li, Yucheng Shi, Zongxia Li et al.
ターミナルエージェント向けの長期タスク訓練データは、1タスクあたり数百から数千ドルという生成コストがかかる(223 upvotes)。指示・環境・参照解法・検証器の四者を相互に整合させたまま作り込む必要があるためで、人手による作成はスケールせず、直接生成も破綻しやすい。
新規性: 高品質な長期データの生成コストという、エージェントRL全体を律速していた資源制約そのものを対象に据えた点が貢献である。四者の整合を保つ制約を再帰的な構成手続きに落とし込むことで、人手の作り込みに依存しないデータ供給経路を開く。
手法: 長期ターミナルタスクを再帰的に合成し、指示・環境・参照解法・検証器の相互整合を構成の各段階で維持する。
AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning
著者: Zi-Han Wang, Zhengxi Lu, Zhiyuan Yao et al.
検証可能な報酬による強化学習は軌跡単位のアドバンテージ推定を構成するが、長期・多ターンのエージェントタスクでは結果を左右した少数の決定的な判断に信用を届けられないことが多い(85 upvotes)。近年は信用割当のために特権的な自己蒸留を導入する研究が現れている。
新規性: 自己蒸留を一段の操作で終わらせず再帰的に適用する点が新しい。軌跡全体に薄く均された信用を、決定的な一手へ段階的に絞り込んでいく構造になる。
手法: 再帰的な自己蒸留により、長期多ターン軌跡の中でピボットとなる判断へ信用を集中させる。
OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models
著者: Qiushi Sun, Kanzhi Cheng, Yian Wang et al.
コンピュータ操作エージェント(CUA)はデジタル環境全域で急速に進歩している(67 upvotes)。CUAの軌跡は行動・状態・推論を記録するが、それが指示を満たしたかの検証は評価・データ選別・強化学習のいずれにとっても中核であり、人手記述の検証器もそれ以外の手段も十分ではなかった。
新規性: 報酬モデル自体を評価対象として切り出し、しかもプラットフォームを横断して標準化した点が貢献である。CUAの学習ループの品質が報酬モデルの精度に依存する以上、その良し悪しを測る共通尺度が前提条件となる。
手法: 複数プラットフォームにまたがるCUA軌跡を対象に、指示充足の判定能力を標準的な手続きで評価する枠組みを構成する。
WorldClaw: Agentic 3D Open-World Generation at Scale
著者: Chunchao Guo, Jinpeng Li, Yang Li, Zilong Huang
自由記述のテキストから大規模で自由に探索できる3D世界を生成することは難しい(58 upvotes)。大域的な空間整合性、豊かな局所コンテンツ、そして下流の編集や再利用に耐える明示的なアセットという三つを同時に満たす必要があるためである。
新規性: 生成を単一のモデル推論ではなく完全にエージェント的な手続きとして構成し、粗密段階的に世界を作り上げる点が特徴である。生成物が編集可能なアセットとして残るため、作りっぱなしにならず制作パイプラインへ接続できる。
手法: 全エージェント型の coarse-to-fine フレームワークにより、大域構造から局所コンテンツへ段階的に3D世界を生成する。
GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?
著者: Qifeng Zhang, Kaixiang Huang, Heng Dong et al.
空間知能は身体性を持つエージェントの基盤だが、既存ベンチマークは単一ないし少数視点からの局所的な空間知覚に偏っている(42 upvotes)。連続的で長期にわたる視覚ストリームから大域的な空間認識を築けるかは測られてこなかった。
新規性: 評価の単位を「一枚の画像から何が読めるか」から「長い映像を通じて空間の全体像を保持できるか」へ移した点が貢献である。局所知覚の高得点が大域認識を意味しないという分離を可視化する。
手法: Global-Spatial-Temporal Benchmark を構築し、長期の連続映像入力に対するVLMの大域的空間認識を評価する。
EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning
著者: Zishan Xu, Zhiyuan Yao, Yuxin Chen et al.
長期のツール利用を行うLLMエージェントの訓練は、実環境や合成した実行環境との相互作用に依存するのが通例である(38 upvotes)。しかしそれらの構築と検証は高コストであり、代替となる外部シミュレータは現実への接地が難しい。
新規性: 環境を外に用意するのではなくモデル内部に取り込む方向を採った点が新しい。実行環境の構築コストと接地の困難さという二律背反を、環境そのものを訓練対象へ移すことで回避しようとする。
手法: 世界リハーサル(world rehearsal)によって環境ダイナミクスを内在化させ、その上でエージェントの強化学習を行う。
Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval
著者: Zelong Sun, Jun Wang, Kaicheng Yang et al.
統合的なマルチモーダル検索は、異種の入力で表現された複雑なユーザ意図を満たす候補を見つけることを目指す(37 upvotes)。大規模視覚言語モデル(LVLM)ベースの検索器は効率的でスケールもするが、生のマルチモーダル入力を直接符号化するため細粒度の識別情報を取りこぼしやすい。
新規性: 汎用の思考連鎖ではなく検索に特化したCoTを立て、しかもその学習信号をハードネガティブ、すなわち失敗しやすい紛らわしい候補から取る点が貢献である。区別のつかない候補同士の差異を明示的に言語化する経路が入る。
手法: ハードネガティブを用いた検索特化の思考連鎖により、直接符号化では失われる細粒度の識別的手掛かりを補完する。
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
著者: Varun Ursekar, Apaar Shanker, Yash Maurya et al.
LLMがエージェントシステムに組み込まれるにつれ、その能力はモデル重みだけでなくハーネス、すなわち周囲のプロンプト・ツール・制御フロー・記憶・オーケストレーションコードにも依存するようになった(33 upvotes)。この反復的かつ評価駆動のハーネス自動最適化を、LLM自身がどこまでこなせるかが問題になる。
新規性: 評価軸を重みからハーネスへ移した点が貢献である。同じモデルでも周辺実装で性能が大きく変わる現状に対して、「実装を良くする能力」を独立した測定対象として立てる。
手法: ハーネス最適化タスク群を整備し、LLMがプロンプト・ツール・制御フロー・記憶を反復改善できるかをベンチマークする。
From Economic Agents to Agentic Economies: A Systems Blueprint for Economic World Models
著者: Jiale Han, Xiang Li, Jing Qian et al.
経済世界モデル(EWM)は、異質なエージェントとその信念・行動、そして相互作用が集計的な帰結を生む市場・制度メカニズムをモデル化することで、経済が内側からどう進化するかを模擬する生成的経済モデルである(32 upvotes)。
新規性: 概念提唱にとどまらず実装可能な系統的設計図として提示した点が貢献である。個々の経済エージェントの記述から、エージェントが相互作用して経済そのものを構成する水準へ、モデル化の単位を引き上げる。
手法: 異質エージェント・信念・行動・市場および制度メカニズムを層として構成する、EWMの実装可能なシステム設計図を提示する。
On-Policy Delta Distillation for Multilingual Math Reasoning
著者: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
On-Policy蒸留(OPD)はLLM事後訓練において強化学習の有望な代替として台頭しているが、多言語設定での有効性はほとんど検証されていない(28 upvotes)。本研究はOPDとその発展形であるOn-Policy Delta Distillation(OPD^2)を、英語を含む多言語の数学推論で調べる。
新規性: RL代替として注目される手法の適用範囲を、単言語の想定から多言語へ広げて検証した点が貢献である。推論能力の言語間転移という積み残しの問いに、蒸留の側から答えを与える。
手法: OPDおよびOPD^2を多言語数学推論タスクへ適用し、事後訓練手法としての挙動を言語横断で比較する。
分野別の動向
エージェントRLを律速する三つの資源
前日は信用割当という一点に議論が集中していたが、この日は制約の所在が三方向に展開した。Recursive Synthesis(223 upvotes)は訓練データそのものを標的とし、1タスク数百〜数千ドルという長期ターミナルタスクの生成コストを、指示・環境・参照解法・検証器の整合を保つ再帰的合成で崩しにかかる。EnvACE(38 upvotes)は環境側を扱い、実行環境の構築・検証コストと外部シミュレータの接地困難という二択を、世界リハーサルによる環境ダイナミクスの内在化で回避する。AgentOPSD(85 upvotes)は信用割当の系譜を継ぎ、軌跡単位のアドバンテージでは埋もれる少数の決定的判断へ、再帰的自己蒸留で信用を絞り込む。CalibForge(21 upvotes)はこれらの手前に位置し、実行可能性の検証だけでは解法器に対する適切な難度が分からないとして敵対的な解法器較正を持ち込み、Distill Where You Fail(15 upvotes)は群内全滅で勾配が消えるGRPOの穴を適応的教師誘導で塞ぐ。データ・環境・信用という三つの資源制約が、それぞれ独立した論文として同時に立ち上がった格好である。
エージェント評価と報酬モデル
測る側の整備も進んだ。OSReward(67 upvotes)はコンピュータ操作エージェントの軌跡判定を担う報酬モデルに焦点を当て、人手記述の検証器では足りない領域をプラットフォーム横断の標準評価で埋める。学習ループの質が報酬モデルの精度に従属する以上、ここが未整備だと上流の手法改善が測定できないという構図である。HarnessOpt-Bench(33 upvotes)は評価軸をさらに外側へ広げ、モデル重みではなくプロンプト・ツール・制御フロー・記憶といったハーネスの自動最適化能力を測る。GDPevo(24 upvotes)が実業務タスクでの自己進化を、DataSpace(30 upvotes)が異種ワークスペース上の検証可能な分析を扱っており、エージェント評価が「タスク成功率」から「学習ループの構成要素ごとの品質」へ分解されつつある。
世界モデルの適用領域の拡張
世界モデルという枠組みが、映像予測の外側へ広がった。From Economic Agents to Agentic Economies(32 upvotes)は異質エージェントの信念・行動と市場/制度メカニズムを内側から模擬する経済世界モデルの実装設計図を示し、経済シミュレーションを世界モデルの語彙で再構成する。MASS(13 upvotes)は現行の映像世界モデルが世界状態と視点依存の視覚潜在を絡めているために多人数環境で破綻すると指摘し、権威的な共有状態を分離する。WorldCycle(11 upvotes)は任意の行動系列に対する正解が存在しないという検証ボトルネックを、自己検証可能な強化学習で回避する。FactorJEPA(10 upvotes)はJEPAの適用先をグローバルサウスの混雑した都市環境という未開拓領域へ向け、未来をレイアウト・エージェント・相互作用のチャネルへ分解する。Music Co-Creation(1 upvote)に至っては2.55Mパラメータの記号音楽向け階層的自己教師あり世界モデルであり、規模と領域の双方で幅が出た。
空間認識と身体性
GST-Bench(42 upvotes)が、単一・少数視点の局所空間知覚に偏る既存ベンチマークを、長期の連続映像ストリームからの大域的空間認識へ置き換える。局所知覚の高得点が空間の全体像の保持を意味しないという分離が、明示的な測定対象になった。生成側ではWorldClaw(58 upvotes)が、大域整合性・局所の豊かさ・編集可能な明示アセットという三条件を全エージェント型の粗密生成で同時に満たそうとする。ロボット学習ではWorld-to-Wrist(24 upvotes)が主視点と手首視点を並列入力として扱うVLAを見直し、タスク文脈下での手首局所の未来を条件付きでモデル化する。DyPES-VLA(22 upvotes)は異種身体間で共有される力学事前分布と身体固有制御を分離し、SmartMage(23 upvotes)はクエリごとに関連度が変わるモダリティを動的に統率する。安全性の側ではDRIFT(3 upvotes)が、pi0のようなフローマッチングVLAの敵対的頑健性は前処理由来の見かけ上のものにすぎないと示し、報告されてきた優位性に疑問を呈した。
検索・文書処理の細粒度化
検索と文書解析の双方で、粗い一括処理を分解する動きが見られた。Learning from Failures(37 upvotes)はLVLM検索器が生入力の直接符号化で細粒度の識別情報を落とす点を、ハードネガティブによる検索特化CoTで補う。PaDoc(21 upvotes)は端から端までの文書パーサがページレイアウトと領域内容を単一の自己回帰系列へ直列化してしまい、独立な領域まで総内容量に比例する復号経路へ押し込む問題を、レイアウトに接地した並列復号で解く。Consistency-Driven Co-Evolution(7 upvotes)はチャート画像・表データ・可視化コードの間の一対多という関係と監督信号の乏しさに対し、自己教師ありの共進化を当てる。KVAE(20 upvotes)はさらに下層のトークナイザを扱い、潜在拡散において学習速度と生成品質を規定する構成要素としてトークナイザ族を整理した。
安全性と評価の限界
評価が何を証明できるのかを問う論文が並んだ。What AI Red-Team Evaluations Can and Cannot Prove(3 upvotes)は、レッドチーム評価が支持できる主張とできない主張の境界は判断の問題ではなく計算可能であると論じ、固定された試験予算の下で一つの結果が信念をどれだけ動かしうるかの上限を「証拠的天井」として定義する。Agent Against Agent(6 upvotes)は強化学習依存だった既存のプロンプトインジェクション・レッドチーミングを、エージェント的なシステムへ置き換える。Invisible Shortcuts(16 upvotes)は視覚エンコーダが物体と背景やテクスチャといった目に見える偏りではなく、ピクセル階層に埋め込まれた不可視のメタデータ痕跡に依存しうることを指摘し、カメラ由来の痕跡というショートカット源を新たに立てた。SIGNPOST-Bench(2 upvotes)は視覚と文字の手掛かりが衝突した際のMLLMの裁定を反実仮想的に統制して測る。
基盤モデルと効率化
K-EXAONE 2.0(20 upvotes)はLG AI Researchによるオープンウェイト多言語基盤モデルの技術報告で、ゼロからの訓練ではなく既存K-EXAONEのアップサイクルとアーキテクチャ拡張によりMixture-of-Expertsを構成する路線を採る。On-Policy Delta Distillation(28 upvotes)は事後訓練側からRL代替の蒸留手法を多言語数学推論へ広げ、MameLoshnLM(19 upvotes)はイディッシュ語初のオープンソース8Bモデルと評価ベンチマークを、Teaching Nemotron Greek(29 upvotes)は現代ギリシャ語向けの検索スタック適応を提示する。効率化ではLossless Tensor Compression as Program Synthesis(11 upvotes)が、汎用圧縮器がテンソル構造を無視し既存のテンソル特化圧縮器が固定・形式依存のパイプラインに縛られる状況に対し、可逆圧縮をプログラム合成として定式化した。なお本日のarXiv RSS(cs.CL / cs.AI / cs.LG)は週末(8月9日日曜)の更新停止により新規エントリがなく、本レポートはHugging Face Daily Papersを主要ソースとしている。