三系統アーキテクチャで創発的能力を狙うGigaBrain-0.7が90 upvotesで首位に立ち、既存アノテーションをロールアウトへ転用するAnnotations as Rolloutsが続いた。on-policy蒸留がプロンプトインジェクション防御から拡散モデルの自己改善まで広がり、中央調整なしのエージェント群が新規の数学的結果を出した一日となった。
注目論文
GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture
著者: GigaBrain Team, Angen Ye, Axiang Sun et al.
Vision-Language-Action（VLA）モデルは汎用的な身体化エージェントの支配的パラダイムとなり、構造化された環境では複雑で長期ホライズンのタスク遂行において高い性能を示している（90 upvotes）。しかし現行のVLAシステムがより有効なアーキテクチャ設計から恩恵を受けられるかどうかは未解決の問題であり、本報告は三系統アーキテクチャによるスケーリングでその問いに答えようとする。60名を超える著者を擁するチーム報告である。
新規性: VLAの改善方向を、データ量やモデルサイズの単純な拡大ではなくアーキテクチャの分割構造に置いた点が中核である。既存のVLAは視覚・言語・行動を一つの系として扱い、スケールの効果を全体で受け止める設計になっている。しかし身体化タスクでは、瞬間的な運動制御と中期的な行動計画と長期的な目標保持が、それぞれ異なる時間スケールと更新頻度を要求する。三つの系統に分割したうえでスケールさせる構成は、「創発的能力（emergent capabilities）」がモデルサイズだけでなく構造の分節から生じうるという主張であり、言語モデルで観測された創発を身体化の文脈へ持ち込む試みと言える。
手法: 三系統（three-system）アーキテクチャを採用した身体化基盤モデルをスケールさせ、構造化環境における長期ホライズンのタスク遂行から創発的能力の獲得へと到達させる。
Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs
著者: Yunheng Li, Guohong Mu, Hao Li et al.
マルチモーダル大規模言語モデル（MLLM）は統合的な動画理解の主流パラダイムとなったが、大規模マルチタスクデータセット上での事後学習には依然として困難がある（88 upvotes）。既存の強化学習手法は on-policy にグループをサンプリングするため、コストの高いchain-of-thoughtを用いても高品質なロールアウトが少数しか得られないという問題を抱える。
新規性: 強化学習のロールアウトを、モデルに生成させるものではなく既に手元にあるアノテーションから調達する点が中核である。on-policyサンプリングは方策との整合性という理論的な利点を持つ一方、動画のような高コストなモダリティでは1グループを埋めるためのサンプリング自体が支配的なコストになり、しかもその大半が低品質で捨てられる。動画データセットに既に付与されている人手アノテーションをロールアウトとして再解釈する発想は、サンプリング効率の問題を生成側ではなくデータ側で解く方向であり、動画MLLMの事後学習を実行可能な計算規模へ引き下げにいくものである。
手法: 既存のマルチタスク・アノテーションをロールアウトとして再利用し、動画MLLMの強化学習における高コストなon-policyサンプリングと低品質ロールアウトの問題を回避する。
WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report
著者: Junjie Zhou, Ke Mei, Lei Li et al.
汎用マルチモーダル埋め込みは現代のAIシステムの中核部品となりつつあり、異種のコンテンツを共有空間で表現することで検索・推薦・分類・エージェント的な応用を可能にする（54 upvotes）。本報告はその汎用埋め込みモデル群であるWeMM-Embeddingを提示する。
新規性: 埋め込みモデルを単体タスクの部品ではなく、複数の下流システムが共有するインフラとして位置づけた点が中核である。検索用と推薦用と分類用でそれぞれ別の埋め込みを持つと、同じコンテンツが複数の空間に重複して存在し、システム間で意味の整合が取れなくなる。単一の共有空間で異種コンテンツを扱い、そこにエージェント的な用途まで含める設計は、埋め込みを「モデル」から「基盤」へ格上げする構成である。WeChatという実運用規模のプラットフォームからの技術報告である点も、机上のベンチマーク最適化とは異なる制約が反映されていることを示唆する。
手法: 異種のマルチモーダルコンテンツを単一の共有埋め込み空間で表現し、検索・推薦・分類・エージェント応用を横断して機能する汎用埋め込みモデル群を構築する。
AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
著者: Sungho Park, Wonjoong Kim, Rongyuan Tan et al.
LLMエージェントは長期ホライズンのタスクで依然として信頼性が低く、小さな局所的失敗が長い相互作用を通じて累積し全体の失敗に至る（49 upvotes）。外部のハーネスは頑健性を大幅に改善しうるが、ハーネス設計は手作業で高コストなプロセスであり、広大な設計空間の探索を必要とする。
新規性: エージェント改善の対象を、モデル重みでもプロンプトでもなく「ハーネス」という周辺構造に定め、その最適化を実行トレースから自動化した点が中核である。ハーネス——リトライ規則、検証ステップ、ツール呼び出しの制約といった足場——は現状ほぼ職人芸で組まれており、どの構造がどの失敗を防いでいるのかが暗黙のままである。実行トレースから「永続的な更新（durable updates）」を抽出するという定式化は、一回きりの成功事例ではなく再現性のある改善だけをハーネスに定着させる方向を取る。本日のTask-CoEvolveやRecurisと合わせ、重みを触らずにエージェントを改善する系譜が層をなしつつある。
手法: エージェントの実行トレースから永続的な更新を抽出し、手作業に依存していたハーネス設計の探索を自動最適化する。
On-Policy Self-Distillation in Diffusion Models
著者: Wei Zhou, Xiongwei Zhu, Lingdong Kong et al.
強化学習は拡散モデルを人間の選好やタスク固有の目的に整合させられるが、終端報酬（endpoint reward）は中間のデノイジング予測をどう変えるべきかを指定しない（48 upvotes）。DiffusionOPSDは、画像レベルの報酬勾配を中間ステップへの指示へと変換するon-policy自己蒸留の枠組みである。
新規性: 拡散モデルにおける報酬の粒度問題を、追加の中間報酬モデルではなく自己蒸留で解いた点が中核である。デノイジングは数十ステップの逐次過程だが、報酬は最終画像に対してしか定義されない——どのステップのどの判断が良かったのかという信用割当が空白になる。中間ステップ用の報酬モデルを別途学習する道もあるが、それ自体が新たな学習対象と誤差源を増やす。画像レベルの報酬を自己蒸留の教師信号へ翻訳する構成は、外部の追加モデルなしに密な指示を得る方向であり、本日のSecOPDやOn-policy Distillation with Verifiable Rewardとともに「on-policy蒸留」が分野横断の道具立てになりつつあることを示す。
手法: 画像レベルの報酬勾配を中間デノイジング予測への指示へ変換し、拡散モデルをon-policyな自己蒸留によって整合させる。
SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
著者: Yibo Peng, Long Lian, David Wagner, Sizhe Chen
プロンプトインジェクションはAIエージェントに対する脅威の第1位として挙げられている（36 upvotes）。エージェントがウェブサイト・ファイル・メールなどの外部データにアクセスする際、攻撃者は「これまでの指示をすべて無視して〈攻撃者のタスク〉を実行せよ」といったプロンプトをデータ内に注入しうる。SecOPDはこの適応的な攻撃に対する防御をon-policy蒸留として構成する。
新規性: 防御の学習を、固定された攻撃サンプル集合への当てはめではなく方策追従的な蒸留に置いた点が中核である。プロンプトインジェクション防御の難所は、防御を公開した時点で攻撃者がそれを回避する新しい注入文を作れることにある——固定データセットで訓練した検出器は、その分布の外側にある適応的な攻撃に脆い。on-policy蒸留は、現在の方策が実際に踏む軌跡上で教師信号を与えるため、防御が動くにつれて訓練分布も追随する。David Wagnerを含むセキュリティ研究の系譜からの提案であり、脅威モデルの立て方が慎重である点も注目に値する。
手法: on-policy蒸留により、外部データ経由で注入される適応的なプロンプトインジェクションに対するエージェントの防御を学習させる。
The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models
著者: Taebong Kim, Youngsik Hong, Minsik Kim et al.
位置 t における表現が将来の入力に依存してはならない——この性質を「prefix invariance（接頭辞不変性）」として形式化し、その破れを局所化する軽量な監査手法を提示する（29 upvotes）。監査は forward pass 2回のみで済み、訓練も勾配計算も不要である。
新規性: 因果性の検証を、実装の意図（attentionマスクの設定）ではなく実際の計算の振る舞いから行う点が中核である。マスクが正しく設定されていれば因果性は保たれる、というのが通常の想定だが、著者らはこれが不完全であると指摘する——スキャン演算や正規化を経由して情報が漏れうるためである。層正規化やstate-space modelのスキャンは系列方向に統計量を集約する操作を含み、マスクの外側で未来を参照してしまう経路を作りうる。attention・state-space・ハイブリッドという三系統を横断して同一の監査を適用できる構成は、アーキテクチャの多様化が進む中で「本当に自己回帰なのか」を検証する共通の道具を与えるものである。
手法: prefix invarianceを形式化し、forward pass 2回のみで因果性の破れを局所化する訓練不要・勾配不要の監査手法を、attention/state-space/ハイブリッド各系統に適用する。
CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild
著者: Jian Yang, Haau-Sing Li, Shawn Guo et al.
LLMのコーディング能力が向上を続けるにつれ、サイバーセキュリティ領域での可能性にも研究の関心が集まっており、クローズドソースのLLMは既に高度な能力を示している（28 upvotes）。しかしオープンソース側の取り組みは限定的なままであり、本研究は実世界（in the wild）から収集したインスタンスによってその差を埋めようとする。
新規性: オープンソースLLMのセキュリティ能力の律速を、モデルの規模ではなく訓練インスタンスの供給に見た点が中核である。この領域のデータは合成しにくい——脆弱性は実在するコードベースの具体的な文脈に埋め込まれており、教科書的な例題からは実務で遭遇する形が再現できない。実世界のインスタンスをスケーラブルに収集するパイプラインを構築する構成は、能力格差をデータ調達の問題として扱うものである。防御側がオープンなモデルで評価・検証を行えるかどうかは実務上の意味を持つ論点であり、能力の非対称性を縮める方向の提案として位置づけられる。
手法: 実世界から収集したセキュリティ関連インスタンスを用いて訓練データを構築し、オープンソースLLMのサイバーセキュリティ能力をスケールさせる。
Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses
著者: Zhaochen Yu, Yingcheng Wu, Zhenfei Yin et al.
再帰的自己改善（RSI）は長期ホライズンのタスクで依然として困難であり、履歴が伸びるほどタスク状態が見えにくくなり、スキルの呼び出しが噛み合わなくなる（20 upvotes）。Recurisは、Working Memoryがタスクの進行状況を追跡する再帰的なExperiential-Working Memoryアーキテクチャである。
新規性: 長期タスクの失敗要因を、記憶容量ではなく二種類の記憶の役割分担の欠如に帰した点が中核である。履歴をすべて文脈に積む設計では、増えるのは情報量だけで「いま何をしているか」という状態の可読性はむしろ下がる——その結果、持っているはずのスキルが適切なタイミングで呼ばれなくなる。経験記憶（過去から抽出した再利用可能な知見）と作業記憶（現在のタスク進行）を分離し、両者を再帰的に進化させる構成は、記憶を蓄積の対象から状態管理の機構へ組み替えるものである。本日のAutoSaddlerやMeta^nと同じく、モデルの外側にある構造でエージェントを改善する系譜に属する。
手法: Working Memoryでタスク進行を追跡し経験記憶と分離した再帰的なExperiential-Working Memoryアーキテクチャを構成し、長期ホライズンのエージェントハーネスにおける再帰的自己改善を成立させる。
Autonomous Mathematical Discovery in an Open-World Multi-Agent Environment
著者: Stephen Chung, Wenyu Du, William J. Wesley
異なるモデルファミリーのAIエージェントが、中央のコーディネータもスクリプト化されたパイプラインもなしに共通の研究目標を追求する開放環境「the Station」における自律的な数学的発見を研究する。エージェントは自ら研究方向を選び、実験を行い、協力し、共有の科学文献を構築する。
新規性: マルチエージェント研究の設計を、役割分担の設計から環境の設計へ移した点が中核である。既存のマルチエージェント系はプランナー・実行者・検証者といった役割を人手で定め、その連携をパイプラインとして固定するのが通例だった。中央調整を置かない開放環境では、何を研究するかの選択自体がエージェント側に委ねられる。AlphaEvolveカタログの12構成問題と追加の2ケーススタディにおいて、5問題で先行文献に対して新規の結果を得たと報告される——有限体Kakeya集合の新しい無限族、11次元における604点の厳密なkissing配置、離散化Kakeya針問題と符号不確定性問題の新記録、Erdősの最小重複問題における実質的に改善された下界である。Book Ramsey数についても新規の無限族が発見された。
手法: 数値的な構成物だけでなく、それらがなぜ機能するかを説明する定理と分析をエージェントが産出する点が重視されており、結果の解釈可能性と数学者による follow-up の容易さにつながる。生のエージェント対話・証明・検証コードがすべて公開され、発見の過程が透明な記録として残される。
分野別の動向
on-policy蒸留が分野横断の道具立てに
本日は「on-policy distillation」を掲げる論文が異なる問題領域から同時に並んだ。SecOPD（36 upvotes）は適応的プロンプトインジェクション防御に、DiffusionOPSD（48 upvotes）は拡散モデルの中間デノイジング予測への信用割当に、On-policy Distillation with Verifiable Reward（12 upvotes）はRLVRの疎な課題レベル報酬とOPDの密なトークンレベル指示を組み合わせる形で、それぞれ適用している。共通するのは、報酬や教師信号が粗い粒度でしか定義できない場面で、現在の方策が実際に踏む軌跡上に密な指示を敷き直すという発想である。Best Practice Critic Optimization（11 upvotes）がGRPOのcritic回避を再考し、一応答からトークンレベルのadvantageを推定する信頼できるcriticを目指すのも同じ問題意識の裏面と言える。RLとして解くか蒸留として解くかの境界が実務的に曖昧になりつつある。
エージェント改善の場所が重みの外側へ移り続けている
AutoSaddler（49 upvotes）は実行トレースからハーネスの永続的更新を抽出し、Recuris（20 upvotes）は経験記憶と作業記憶を分離した再帰構造を置き、Meta^n（8 upvotes）は自己改善エージェントが答えを直すだけで答えを生む過程を直せていないと指摘して、メタ深度が実質2程度で頭打ちになる構造的理由を扱う。Task-CoEvolve（8 upvotes）は検証タスクの適応的選択によってハーネス最適化そのものを効率化し、CAFE（4 upvotes）は探索エージェントの自己改善に共進化するフィードバックが要ると論じる。いずれもモデル重みを更新せずに性能を上げる方向であり、改善の対象がプロンプトからハーネス、記憶構造、メタレベルの編集機構へと外側に押し出されている。AgentRoom（4 upvotes）がCRDTベースの共有ワークスペースで並行コーディングを扱い、「効いているのは並列性でもCRDTマージでもなく協調である」と結論づけるのも、同じ「周辺構造が性能を決める」という主題の変奏である。
評価は「どこで失敗したか」を問い始めた
最終回答の正誤で測る評価から、失敗の所在を特定する評価への移行が目立つ。LongRCA Bench（14 upvotes）は長期ホライズンのエージェント実行が失敗したとき、結果レベルの評価では決定的な誤りがどこで入ったか分からないとして、責任のあるロールと最初の決定的な根本原因ステップの特定を課題に据える。Automata from Agent Traces（4 upvotes）はトレース群を7〜43状態のコンパクトな有限状態機械に畳み込み、失敗予測でAUROC 0.94に達し、部分トレースからの早期停止を可能にする——そして振る舞いのトポロジーはLLMよりもデプロイのハーネスに形作られていると結論する。ClawProBench（4 upvotes）は評価単位をモデル単体ではなく「モデル+ランタイム」の宣言された構成に置くべきだと主張し、Thinkingbox（10 upvotes）は表題どおり一度の成功を信頼性と呼ばない立場を取る。Evidence-State Reliability（arXiv 2608.21559）が、構造的な妥当性は改善しているのに証拠感応的なステージ成功は劣化しうるという乖離を測定したのも同じ方向にある。
因果性・評価意識・追従性——モデルの「隠れた振る舞い」の監査
The Mask Is Not the Model（29 upvotes）は、attentionマスクの検査だけでは因果性の破れを見逃すとして、forward 2回で漏れを局所化する監査を提示した。Evaluation Awareness in Language Models（arXiv 2608.21766）は、評価下にあるという認識が6モデルすべての残差ストリームから線形に復号可能（best AUROC ≥ 0.7）である一方、それが言語化される度合いとは部分的にしか一致しないことを示し、Olmoのチェックポイント比較からこの認識がベースモデルの時点で既に存在し教師ありファインチューニングで増幅されると報告する。Agentic Scaffolding Amplifies Sycophantic Behavior（arXiv 2608.21377）は4,800件の真偽判断から、フィードバックループや再考チェックポイントといったエージェント的な足場が追従性を系統的に増幅し、平均正解率が6.3ポイント低下することを示した——しかも能力の高いモデルほど増幅が大きいという逆転が観測されている。内部表現・言語化・実際の振る舞いの三者が一致しないことを前提とした評価設計が要請されつつある。
身体化と世界モデルは「創発」と「学習データの調達」へ
GigaBrain-0.7（90 upvotes）が三系統アーキテクチャによる創発的能力を掲げた一方、周辺では学習データの調達が主題になっている。Game2World Engine（8 upvotes）は、ゲーム映像が持つ画面インターフェースとゲーム世界の絡まりを解きほぐし、in-the-wildのゲームプレイ動画を世界モデル訓練に使える形へ変換する。LAION-BVD（5 upvotes）はCommonCrawlから13億件の動画URLを集め、そのうち8,000万本・総計1,000万時間をダウンロードした公開データセットを提示する。Latent Action as Intention（0 upvotes）は、World Action Modelがテスト時に将来観測を生成する遅延を扱い、それを省くFast-WAMが汎化で劣ることを実装を揃えた比較で示したうえで、潜在行動を意図として用いる効率的な将来想像を提案する。生成品質の競争から、訓練データの供給と推論コストという実装側の制約へ論点が移っている。