検証器のない長期タスクに報酬を与えるDRACO、モデルの弱点に合わせて環境を進化させるEnvironment Evolution、絶対量に頼らず物理を測るPrincipiaとWorldRewardが並んだ。前日の「編集可能性と評価の作り直し」に続き、今日はエージェントの学習信号そのものを自作する話が主題となった。
注目論文
WorldReward: Reward Modeling for Camera-Conditioned World Models
カメラ条件付きワールドモデルは、指示された行動が期待どおりのシーン変化を引き起こしつつ、見え方・幾何・時間的ダイナミクスの整合を保つようなインタラクティブ動画を生成する（23 upvotes）。既存の報酬はこれらの要件を別々に評価してきた。幾何ベースの報酬は軌道が指示どおり実行されたかを推定できるが、その動きが視覚的に妥当かは判定できない。画像ベースの報酬は忠実度を測るが、カメラ指示の実行を見ていない。
新規性: ワールドモデルの評価を、幾何と見た目という別系統の指標の並置ではなく単一の報酬モデルへ統合しようとする点が中核である。二つの報酬を足し合わせる運用では、片方を満たしながらもう片方を壊す生成——指示どおりカメラは動いたが破綻した映像、美しいが指示を無視した映像——がどちらも部分点を得てしまう。要件が相互に依存している以上、分離して測ること自体が抜け穴になるという整理である。
手法: カメラ条件付きワールドモデルに対し、軌道実行と視覚品質・時間整合を一体として評価する報酬モデルを構成する。
DRACO: Fine-Grained Credit Assignment with Dynamic Rubrics for Long-Horizon Agent Training
検証可能な報酬による強化学習（RLVR）は、タスクにプログラム的なチェッカが存在する場合にはうまく機能する（23 upvotes）。しかし長期エージェントの大半のドメインにはそれがない。本研究が扱うのは outcome-blind な設定、すなわち正解となる成功信号が得られない状況である。多基準のルーブリックはそこへ報酬を供給する一般的な手段だが、軌道につき一度だけ採点されるため、数十ステップに及ぶ過程に対して単一のスカラーは貧弱な信号にしかならない。
新規性: 報酬の不在ではなく報酬の粒度を問題として切り出した点が中核である。ルーブリックを使えば採点はできる——だが軌道全体に一つの数字が返るだけでは、どのステップが良くてどのステップが失敗の起点だったかは学習側から見えない。長期タスクほど「最後に失敗した」という事実と「どこで曲がったか」の距離は開いていく。ルーブリックを固定の採点表ではなく動的に生成・更新されるものとして扱う構成は、この距離を詰めるための設計である。
手法: 動的なルーブリックを用いて軌道内の各ステップへ細粒度のクレジットを割り当て、検証器のない長期エージェント学習に適用する。
PACE: Towards Surfacing Hidden Conflicts in User Requests
パーソナライズされたアシスタントは、ユーザの要求に従うだけでなく、その要求がユーザの現在の状況に照らして適切かどうかを評価すべきである（22 upvotes）。しかし先行研究は主に要求の正確な実行に注力しており、文脈を勘案して矛盾に基づく拒否を行うという必要性を見落としてきた。既存の矛盾検出・安全性検出の研究にも、この観点からの制約がある。
新規性: アシスタントの失敗を、指示の実行精度ではなく指示と状況の整合という軸で捉え直した点が中核である。ユーザが書いた要求は、そのユーザが持つ他の制約——予定、体調、以前に述べた方針——と矛盾しうるが、要求文だけを見ている限りその矛盾は文面に現れない。有害性フィルタが弾くような明示的な危険とも別物であり、「その人にとって今それは適切か」という判断は要求そのものの中に答えを持たない。
手法: ユーザ要求に潜在する文脈的な矛盾を表面化させる枠組みを構成し、矛盾に基づく拒否をアシスタントの振る舞いとして扱う。
FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow
FlashRenderは、ソース動画を目標のカメラ軌道に沿って数秒で撮り直す少ステップの生成レンダリング枠組みである（19 upvotes）。著者らは既存の多ステップ生成レンダリングにおいて、カメラ制御の効きがサンプリングステップ数に依存してしまう現象を特定し、これが離散化誤差の顕著な現れであると論じる。そしてこの不整合を解消すると、デノイジング軌道の曲率が大きく下がることを示す。
新規性: 少ステップ化を単なる高速化ではなく制御性の前提条件として扱った点が中核である。ステップ数を減らすと制御が効かなくなるという関係が残っている限り、速度と指示追従はトレードオフのまま固定される——どちらを取るかを選ばされる構造そのものが離散化誤差に由来している、という診断である。曲率が下がるという観測は、この誤差を潰した結果として少ステップ化が自然に成立することを示唆する。
手法: カメラ制御付きの Video MeanFlow を用い、サンプリングステップ依存のカメラ制御という不整合を解消することでデノイジング軌道を平坦化し、少ステップでの生成レンダリングを実現する。
Using Grounded Theory for Agent Behavior Analysis at Scale
エージェントの挙動を理解するには、数千の軌道までスケールし、かつ長く馴染みのないタスクの中から新しいパターンを浮かび上がらせる手法が必要である（18 upvotes）。あらかじめ用意した分類器では、こうした場面で取りこぼしが生じる。本研究は、社会科学における60年の歴史を持つ質的研究法であるグラウンデッド・セオリーを、エージェント軌道の分析へ持ち込むことを提案する。原理的な飽和基準と、データから理論への監査可能な経路を備えた方法である。
新規性: エージェント分析の道具を、機械学習の内部からではなく質的社会科学から調達した点が中核である。事前構築の分類器は、何を見るべきかが既にわかっている場合にしか使えない——未知の失敗様態を探す局面では、カテゴリを作る作業そのものが分析の本体になる。飽和基準は「いつ見終わったか」を、監査可能な経路は「その結論はどの軌道に基づくか」を担保するもので、どちらもスケールした定性分析に欠けていた部分である。
手法: グラウンデッド・セオリーの手続き（コーディング、カテゴリ生成、飽和判定、監査証跡）をエージェント軌道の大規模分析へ適用する枠組みを提案する。
Environment Evolution for Terminal Agents
ターミナルエージェントの訓練には、インタラクティブかつ検証可能な環境をスケールさせることが不可欠である（17 upvotes）。しかしフロンティアモデルが強くなるにつれ、ゼロから合成された環境は挑戦的でなくなり、学習信号としての価値を失っていく。近年の共進化手法は、ロールアウト中に露呈した弱点に基づき、モデルの学習可能なフロンティア近傍に環境を反復的に合成する。ただしそれらの手法には依存性の問題が残る。
新規性: 環境の難易度を固定資産ではなくモデルとの相対量として扱う立場を、ターミナルエージェントという具体的な領域で徹底した点が中核である。強いモデルにとって、合成環境の難しさは作った時点で決まっており、訓練が進むほど信号は薄まっていく——データセットが古びるのと同じことが環境にも起きる。同日の Terminal-Universe（314 upvotes）が、蓄積済みのエージェント軌道を実行可能な環境へ変換するという逆方向のアプローチを取っているのと対になっている。
手法: ロールアウトで露呈した弱点をもとに環境を反復的に進化させ、学習可能なフロンティア付近に難易度を維持する手続きを構成する。
Principia: Relational Physics Tests for Video Models
動画モデルの物理推論を評価するのは難しい（16 upvotes）。絶対的な運動量の測定はフレームレート、物体スケール、カメラキャリブレーションに依存するが、生成された動画ではこれらがしばしば曖昧か、そもそも与えられていないためである。著者らは異なる方向を採る。同一シーン内の二つの物体が同じ物理法則に従うなら、それらの運動は予測可能な関係を満たすはずであり、この関係は上記の量が不明でも成立する。
新規性: 物理理解の測定を、絶対量の推定を捨てて物体間の関係へ移した点が中核である。生成動画には実世界の縮尺も撮影条件も存在しないため、「この落下は 9.8 m/s² か」という問いは測定以前に定義できない——キャリブレーションのない映像から絶対量を取り出そうとする限り、評価は常に仮定の上に乗る。同一シーン内の二物体を比べれば未知のスケール因子は相殺され、法則への適合だけが残る。
手法: 同一シーン内の複数物体の運動が同じ法則下で満たすべき関係性を定式化し、フレームレートやスケールに依存しない物理テスト群として構成する。
Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
長尺動画の言語モデルは全フレームを見ることができない（15 upvotes）。1秒に1回サンプリングした1時間の動画は3,600枚の画像になり、システムはそのプールから小さな固定枠しか保持しない。どのフレームがその枠に残るかは通常、前処理上の細部として扱われるが、著者らはそれが本当に細部でよいのかを検証する。既存のセレクタ同士の比較が難しいのは、フレームのスコアラ、プロンプト境界、解像度ポリシーなどを同時に変えてしまっているためである。
新規性: 視覚トークン配分を、個別手法の優劣ではなく統制条件下の設計変数として測り直した点が中核である。フレーム選択・圧縮・浮いた予算の再投資という三つの操作は独立に選べるはずだが、公開実装ではこれらが一体で提供されるため、改善がどの操作に由来するのかを読み取れない——比較の土台が揃っていない状態が続いてきた。選択・圧縮・再投資という分解自体が、この統制を可能にする枠組みになっている。
手法: フレームスコアラ、プロンプト境界、解像度ポリシーなどの条件を揃えたうえで、フレーム選択・トークン圧縮・予算再配分の各操作を独立に変化させる統制実験を行う。
分野別の動向
エージェント学習の信号設計
今日のエージェント系で共通しているのは、モデルやアルゴリズムではなく学習信号の供給源が主題になっている点である。DRACOは、プログラム的なチェッカを持たない outcome-blind な長期タスクにおいて、軌道につき一度しか採点されないルーブリックでは数十ステップへのクレジット割当ができないことを問題とし、ルーブリックを動的に扱う。Environment Evolutionは、フロンティアモデルに対してはゼロから合成した環境がすぐ易しくなってしまう点を突き、ロールアウトで露呈した弱点に沿って環境自体を進化させる。同日の Terminal-Universe（314 upvotes）は逆に、既に大量に蓄積されたエージェント軌道を実行可能な環境へ変換するという経路を採り、「軌道は凍結された一回の実演にすぎないが、環境は何度でも検証可能なタスクに問い直せる」と述べる。WHALE（前日掲載）が重みとハーネスの同時最適化を扱っていたのと合わせ、エージェント開発の対象が学習アルゴリズムの外側へ広がり続けている。
動画・ワールドモデルの評価と制御
動画側では、何を測るかの定義から作り直す研究が並んだ。Principiaは、生成動画にフレームレートも物体スケールもカメラキャリブレーションも与えられていない以上、絶対的な運動量に基づく物理評価は成立しないとし、同一シーン内の二物体が満たすべき関係性へ評価軸を移す。WorldRewardは、幾何ベース報酬と画像ベース報酬が別々に測ってきた「指示どおり動いたか」と「見た目が妥当か」を統合し、片方だけを満たす生成が部分点を得る構造を塞ごうとする。FlashRenderは制御性の側から入り、カメラ制御の効きがサンプリングステップ数に依存する現象を離散化誤差として同定し、それを解消することで少ステップ化と制御の両立を図る。評価と制御のどちらから入っても、既存の指標が生成物の何を見落としているかという問いに行き着いている。
長尺入力の資源配分
Select, Compress, Reinvestは、1時間の動画を毎秒サンプリングすれば3,600枚になるという単純な事実から出発し、そこから小さな固定枠に何を残すかを前処理の細部ではなく設計対象として扱う。既存セレクタがスコアラ・プロンプト境界・解像度ポリシーを同時に変えてしまうため比較が成立しないという指摘は、前日の RealSWE や Last Translation Benchmark に見られた評価設計の見直しと同じ姿勢に立つ。同日には、KVキャッシュ退避のスコアリング信号がほとんど寄与していないことを示す Random Attention（161 upvotes）、テキストや画像を介さず連続的なメモリトークンへ文脈を書き込む LatentPress（108 upvotes）も挙がっており、長文脈・長尺入力をどの表現で保持するかという問題が複数の切り口から扱われている。
アシスタントの応答判断と分析手法
PACEは、アシスタントの評価が要求の実行精度に偏ってきたことを問題とし、要求がユーザの現在の状況と矛盾していないかを判断して拒否する能力を扱う。有害性の判定とは別に、その人にとって今それが適切かという判断が必要になるという主張である。Using Grounded Theory for Agent Behavior Analysisは分析側から同じ「事前に何を見るべきかわからない」状況に取り組み、社会科学の質的研究法を数千軌道規模へ持ち込む。飽和基準と監査可能な経路という装置は、事前構築の分類器では拾えない挙動を扱うための道具立てとして提示されている。なお Step 1 では、ストリーミングASRの技術報告である VibeVoice-ASR-Streaming Technical Report と、予測を変えずに信頼度のみを補正する事後キャリブレーション手法 Let Confidence Change, Not the Prediction も同期間の注目論文として挙がっている。