マルチモーダル世界信号から統一潜在空間を学ぶ汎用世界基盤モデルOrcaが最高注目を集めた。Docker不要の検証器や二重オンポリシー蒸留など、コーディング・学習エージェントの効率化と評価が層厚く並んだ一日。
注目論文
Orca: The World is in Your Mind
著者: Yihao Wang, Yuheng Ji, Mingyu Cao et al.
汎用世界基盤モデルの初期実装Orcaを提示する（176 upvotes）。マルチモーダルな世界信号から統一された世界潜在空間を学習し、それを複数のマルチモーダル読み出しインターフェースを通じて外部に露出させる。
新規性: 次トークン・次フレーム・次アクション予測といった孤立した目的を個別に最適化するのではなく、それらを単一の統一潜在空間に集約する「世界を内部に持つ」設計を中心に据えた点が新しい。
手法: 多様なモダリティの世界信号を一つの潜在空間へ統合し、そこから各モダリティ向けの読み出しを行う構成を採る。個別予測タスクの最適化ではなく、共有された世界表現の学習を通じて汎用性を狙う。
Dockerless: Environment-Free Program Verifier for Coding Agents
著者: Wenhao Zeng, Yuling Shi, Xiaodong Gu et al.
プログラム検証器はコーディングエージェントの学習で中心的役割を担うが、標準的な実行ベースの検証はリポジトリごとのDocker等の環境を必要とする（86 upvotes）。本研究はこの環境依存を取り除く。
新規性: SFTの軌跡選択やRLの報酬付与に用いる検証を、リポジトリ環境やDockerを構築せずに行える環境非依存の検証器として実現した点が貢献である。
手法: 単体テストを実環境で実行する代わりに、環境構築を要さない形でプログラムの妥当性を判定する仕組みを導入し、コーディングエージェント学習のスケーラビリティとコスト効率を高める。
DOPD: Dual On-policy Distillation
著者: Xinlei Yu, Gen Li, Qingyi Si et al.
オンポリシー蒸留（OPD）は生徒がサンプルした軌跡を密なトークンレベル信号で監督することで優れた能力転移を実現する（75 upvotes）。本研究は高品質な監督源を得て蒸留の性能フロンティアを押し上げる方向を追求する。
新規性: 特権情報を注入しつつ、生徒サンプル軌跡を密なトークン信号で監督する「二重」オンポリシー蒸留を提案した点が新しい。
手法: 監督源に特権的な情報を組み込み、生徒自身が生成した軌跡上でトークンレベルの密なフィードバックを与えることで、単一のOPDを超える能力転移を狙う。
BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding
著者: Hao Zhang, Yiming Hu, Yong Wang et al.
投機的デコーディングは軽量ドラフトモデルで候補トークンを並列生成しターゲットモデルで検証することで、無損失に推論を高速化する（67 upvotes）。拡散ベースの投機的デコーディングは複数トークンを同時生成して並列性をさらに高める。
新規性: 拡散ベースの投機的デコーディングに、事例ごとに適応する方策学習を導入して加速を図った点が貢献である。
手法: 入力事例に応じてドラフト生成の方策を適応的に学習することで、拡散ベースの並列生成の効率を引き上げ、無損失の高速化を実現する。
Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models
著者: Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin et al.
Embodied Vision-Language-Action（VLA）モデルは強力な事前学習VLMをロボティクスデータで微調整して得られるが、微調整後にどれだけ常識・事実知識を保持しているかは不明である（41 upvotes）。知識依存タスクでの失敗は原因が曖昧になりやすい。
新規性: VLAが適応後にどれだけ常識・世界知識を保持するかを切り分けて測定し、知識の欠落と行動の失敗を区別しようとした点が新しい。
手法: 知識依存タスクにおける失敗が「知識の欠如」なのか「行動生成の失敗」なのかを分離して評価する枠組みを設計し、VLA微調整が招く知識の忘却の実態を明らかにする。
Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks
著者: Young-Jun Lee, Seungone Kim, Minki Kang et al.
進化的探索に統合されたLLMは、数学的予想やGPUカーネルなど最適化タスクで最先端の解を生み出してきた（23 upvotes）。本研究は、あるタスクでの探索経験が別のタスクの発見を助けるかを問う。
新規性: 371もの最適化タスクを横断してLLMを進化的探索と統合し、タスクをまたいで「発見する能力」そのものを微調整する点が貢献である。
手法: 多数の最適化タスクにわたる進化的探索の経験を学習に取り込み、個別タスクの解ではなく汎用的な発見能力を獲得させることで、未知の最適化問題への転移を狙う。
Multi-Block Diffusion Language Models
著者: Yijie Jin, Jiajun Xu, Yuxuan Liu et al.
ブロック拡散言語モデル（BD-LM）はKVキャッシュと可変長生成によって拡散ベースのテキスト生成を改善する（22 upvotes）。自然な次の一歩は、単一ブロック拡散から複数ブロック拡散への拡張である。
新規性: 連続する複数ブロックを同時にデコードするマルチブロック拡散へBD-LMを拡張した点が新しい。
手法: 実行中のブロック集合を並列にデコードする構成を導入し、単一ブロック拡散の枠を超えて生成の並列性を高めることで、拡散言語モデルの生成効率を向上させる。
SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History
著者: Zhiwei Li, Yong Hu
エージェントスキルは言語モデルエージェントをタスク固有の手続き・スクリプト・参照で拡張するが、対象タスクや環境は絶えず変化する（21 upvotes）。既存手法は限られた実行内でスキルを改善し最終成果物のみを保持するため、後続エージェントに必要な決定履歴を捨ててしまう。
新規性: 最終成果物だけでなく決定履歴を永続的に保持し、エージェントスキルを継続的に進化させるハーネスを提示した点が貢献である。
手法: スキル改善の過程で生じる決定履歴を蓄積・保持し、後続の実行がそれを活用できるようにすることで、変化するタスク・環境に対するスキルの継続的な適応を可能にする。
Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation
著者: Julia Belikova, Rauf Parchiev, Evgeny Egorov et al.
手続き記憶は反復的な業務タスクでLLMエージェントを改善するのに使われるが、再利用可能なスキルを生み出す能力の実態はよく理解されていない（17 upvotes）。
新規性: 6つの専門職ロールと22の手続きスキルにまたがる382の現実的な企業タスクからなるベンチマークAFTERを導入し、手続き記憶の制御・適応・評価を体系的に行う点が新しい。
手法: 現実の企業タスクを網羅するベンチマークを構築し、手続き記憶がどの程度再利用可能なスキルへつながるかを制御・適応・評価の観点から測定することで、手続き記憶の有効性と限界を明らかにする。
Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
著者: Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona et al.
メタ認知は自らの認知過程を監視・調整する能力で知能の重要な構成要素だが、LLMはこの点に系統的な欠陥を抱える（16 upvotes）。高い確信を持って幻覚し、知識の境界を認識できず、不確実性を誤って表現する。
新規性: メタ認知フィードバックによる強化学習を用いて、LLMから誠実な不確実性表現を引き出す点が貢献である。
手法: 自らの認知状態を監視するメタ認知的なフィードバックを報酬として強化学習を行い、モデルが確信度と知識境界を正しく表現するよう促すことで、幻覚と過信の問題に対処する。
分野別の動向
世界基盤モデルとマルチモーダル統合
本日の最高注目はOrca（176 upvotes）で、マルチモーダルな世界信号から統一された世界潜在空間を学ぶ汎用世界基盤モデルという野心的な方向を示した。次トークン・次フレーム・次アクションといった個別予測を束ねて「世界を内部に持つ」設計は、モダリティ横断の統合表現へ向かう流れを象徴する。Does VLA Even Know the Basics?（41 upvotes）も、VLMをロボティクスに適応させた際の常識・世界知識の保持を問い、マルチモーダルモデルが内部に何を保っているかへの関心が高まっている。
コーディング・学習エージェントの効率化
大規模学習・推論を支える効率化研究が層厚く並んだ。Dockerless（86 upvotes）はリポジトリ環境やDockerを不要にするコーディングエージェント用検証器で、学習パイプラインのコストとスケーラビリティに効く。DOPD（75 upvotes）は特権情報を注入した二重オンポリシー蒸留で能力転移を押し上げ、BlockPilot（67 upvotes）とMulti-Block Diffusion（22 upvotes）は拡散ベース生成の並列性を事例適応やマルチブロック化で高める。前回に続き、蒸留・投機的デコーディング・拡散生成といった基盤の効率化が着実に進んでいる。
エージェントのスキル・記憶と自己改善
エージェントが経験をどう蓄積し再利用するかを扱う研究が目立った。SkillHone（21 upvotes）は決定履歴を永続化してスキルを継続進化させ、Managing Procedural Memory（17 upvotes）は382の企業タスクからなるベンチAFTERで手続き記憶の制御・適応・評価を行う。Evolution Fine-Tuning（23 upvotes）は371の最適化タスク横断で「発見する能力」自体を微調整する。単発の成果ではなく、履歴・記憶・経験を跨いだ自己改善を測る方向が共通している。
アライメントと不確実性の誠実な表現
安全性・信頼性の観点も見られた。Reinforcement Learning with Metacognitive Feedback（16 upvotes）は、高確信での幻覚や知識境界の誤認というLLMのメタ認知的欠陥に対し、メタ認知フィードバックによるRLで誠実な不確実性表現を引き出す。効率化やエージェント能力の拡張が進む中で、モデルが「自分が何を知らないか」を正しく表明できるかを問う点で、実運用の信頼性に寄与する。