離散トークンを離れて連続潜在空間でテキストを生成するAURORA-LMが最上位に立ち、MoE拡散言語モデルのスケーリング則を測るLLaDA MoE v2が続いた。エージェント側では映像へ拡張したディープリサーチ、自己蒸留による密な報酬信号、再帰的自己改善のベンチマークが並び、生成パラダイムとエージェント学習の両輪が動いた一日となった。
注目論文
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
著者: Jiajun Liang, Yucheng Liao, Yukang Cao et al.
生成モデリングにおいて言語だけが例外的な位置にある。画像・映像・音声が連続潜在空間でのモデリングへ移行する一方、テキスト生成は依然として離散トークンに大きく依存している（74 upvotes）。
新規性: 既存の連続言語モデルが、共同生成のために設計されていない埋め込み空間をそのまま引き継いでいた問題を指摘し、連続潜在拡散による言語モデリングのための統合表現を自己符号化で獲得する点が貢献である。
手法: 言語を連続潜在空間へ写す自己符号化型の統合表現を学習し、その空間上で拡散によるテキスト生成を行うことで、離散トークンに依らない生成経路を構築する。
Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent
著者: Zhen Fang, Yu Zeng, Wenxuan Huang et al.
マルチモーダルエージェントを静止画から連続した映像ストリームへ拡張する試みである（45 upvotes）。この設定は、密な時空間グラウンディングと開放的なWeb探索を同時に要求する。
新規性: 静止画中心だったディープリサーチエージェントを映像へ拡張し、予備評価から既存モデルのボトルネック（モダリティ偏りを含む2点）を特定した点が新しい。
手法: 連続映像に対する密な時空間グラウンディングと、開放Web上の探索を組み合わせたエージェント構成を採り、映像を対象とした深い調査タスクを扱えるようにする。
PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning
著者: Chunji Lv, Yangguang Wei, Junlin Liu et al.
LLMエージェントは複雑な対話タスクで高い潜在能力を示す一方、その強化学習は報酬の疎さに阻まれる（37 upvotes）。長い多ターン軌跡に対して、結果レベルの信号がひとつ与えられるだけという状況が生じるためである。
新規性: 密なトークン単位信号を与える既存のオンポリシー自己蒸留（OPSD）に対し、永続的な一貫性（persistent consistency）を導入してエージェント強化学習に適合させた点が貢献である。
手法: 多ターン軌跡上で自己蒸留を行いつつ、一貫性を持続的に保つ制約を課すことで、疎な結果報酬しか得られない設定でも密な学習信号を確保する。
ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation
著者: Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun et al.
テキストから画像への生成モデルは視覚的に説得力のある画像を生み出せるが、複雑な意味理解・多段推論・外部世界知識の統合を要する開放世界のタスクでは依然として限界がある（30 upvotes）。
新規性: 画像生成にエージェント能力を持ち込む既存の試みを踏まえつつ、ツール利用を統合マルチモーダルモデルの内側に据えた点が新しい。
手法: 統合マルチモーダルモデルが外部ツールを呼び出しながら画像を生成する構成を採り、外部知識の参照と多段推論を生成過程に組み込む。
Quo Vadis, World Modeling?
著者: Yu Yang, Xuemeng Yang, Licheng Wen et al.
継続的に改善するエージェントには静的な教師信号を超えた動的な相互作用フィードバックが必要だが、実環境との直接の相互作用は高コストで低速、かつ危険であり並列化も難しい（30 upvotes）。
新規性: 世界モデルを、より低コストで制御可能なフィードバックを問い合わせられる「中間プロキシ」として位置づけ直し、分野全体を総括的に検討した点が貢献である。
手法: 世界モデリングの現状を、エージェントが安価かつ制御可能な形でフィードバックを得るための中間層という観点から整理し、今後の方向性を論じる。
PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents
著者: Shuhan Xue, Zixin Ding, Yichen Shen et al.
再帰的自己改善とは、蓄積した経験をより良い将来の振る舞いへ転換する能力である（28 upvotes）。個人向けAIエージェントは、選好・タスク履歴・ツール手順・習得スキルをセッションを跨いで保持するため、この能力を研究する具体的な舞台となる。
新規性: 保持された経験が実際に将来の行動改善につながるのかを問い、再帰的自己改善の基盤能力を測るベンチマークを構築した点が新しい。
手法: 個人エージェントが跨セッションで保持する選好・履歴・ツール手順・スキルを対象に、蓄積経験の活用度を評価するタスク群を整備する。
The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads
著者: Yushi Sun, Yanjie Zhang, Rui Sheng
永続記憶を備えたパーソナライズドLLMの実運用が進む一方、そのユーザーモデルが事実に忠実かどうかは検証されてこなかった（26 upvotes）。本研究は、証拠が支持する範囲を超えてLLMがユーザー属性を捏造する「過剰推論（over-inference, OI）」を扱う。
新規性: 過剰推論という現象を明示的に定義し、150ペルソナからなるMirageBenchによって測定可能にした点が貢献である。加えて、モデルの自己監視が誤導的に働くことを示す。
手法: バランスの取れた150ペルソナのベンチマークを構築し、根拠のないユーザー属性の捏造がどの程度生じるか、また自己監視がそれを検出できるかを評価する。
LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models
著者: Fengqi Zhu, Shaoxuan Xu, Jingyang Ou et al.
拡散言語モデル（dLLM）は自己回帰型言語モデリングの代替となりうるが、Mixture-of-Experts（MoE）構成におけるスケーリング挙動はほとんど理解されていない（26 upvotes）。
新規性: MoE型拡散言語モデルについて、最適化ハイパーパラメータ・計算資源配分・アーキテクチャがどうスケールするかを体系的に特徴づけた点が新しい。
手法: 最適化設定、計算配分、アーキテクチャという三つの軸を系統的に振り、MoE dLLMのスケーリング特性を実証的に測定する。
OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models
著者: Wanshun Su, Yang Shi, Feihu Liu et al.
omniモーダル大規模言語モデル（Omni-LLM）は音声・映像理解で高い性能を達成しているが、長く冗長度の高い視覚・音声トークン列の処理が大きな計算負荷を生み、効率的な運用には積極的なトークン圧縮が要求される（24 upvotes）。
新規性: 視覚と音声のトークン圧縮を個別にではなく統合的な枠組みで扱い、omniモーダル向けに一本化した点が貢献である。
手法: 長大な視覚・音声トークン列に対する統合的なトークン圧縮を適用し、推論時の計算コストを抑えつつ性能を維持する。
Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
著者: Junlin Han, Shengbang Tong, David Fan et al.
視覚は基盤モデルを前進させる重要な軸であり、ネイティブに統合されたマルチモーダル事前学習への移行を促している（19 upvotes）。しかしその勢いに反して、設計空間と、統合学習中にモダリティがどう相互作用するかという基礎的な機構は十分に解明されていない。
新規性: 統合マルチモーダル事前学習における知識の流れ、モダリティ間の相乗効果、早期統合の効果を実証的に切り分け、実践的なレシピまで示した点が新しい。
手法: 統合事前学習の設計空間を体系的に探索し、知識がモダリティ間をどう流れるか、いつ統合すべきかを経験的に明らかにする。
分野別の動向
生成パラダイムの再検討
言語生成の前提そのものを問い直す研究が最上位に立った。AURORA-LM（74 upvotes）は、画像・映像・音声が連続潜在空間へ移行するなかでテキストだけが離散トークンに留まっている点を突き、共同生成向けに設計された統合表現を自己符号化で獲得する。LLaDA MoE v2（26 upvotes）は拡散言語モデルをMoEへ拡張した際のスケーリング挙動を体系的に測る。自己回帰の代替として拡散を据える流れが、表現設計とスケーリング則の両面から同時に押し進められている。
エージェントの学習信号と自己改善
エージェント強化学習では、報酬の疎さをどう埋めるかが共通の課題となった。PCSD（37 upvotes）は、長い多ターン軌跡に結果レベルの信号がひとつしか与えられない状況に対し、永続的一貫性を伴う自己蒸留で密なトークン単位信号を作り出す。PAST-Bench（28 upvotes）は視点を評価側へ移し、個人エージェントが跨セッションで保持する経験を実際に行動改善へ転換できているかを測る。信号を密にする手法と、その成果を検証する物差しが対になって現れている。
エージェント記憶の信頼性
永続記憶を持つエージェントの落とし穴を突く研究が複数並んだ。The Personalization Mirage（26 upvotes）は、根拠を超えてユーザー属性を捏造する過剰推論をMirageBenchで定量化し、自己監視がむしろ誤導的に働くことを示す。同じ著者らによるWhen Memory Lies（6 upvotes）は、VLMエージェントの空間記憶が環境変化とともに静かに陳腐化し、矛盾する観測と突き合わせたときに競合を検出できるかを問う。記憶を持たせること自体より、その内容が現実と乖離する経路の解明へ関心が移っている。
マルチモーダルの統合と効率化
マルチモーダル側は、統合の機構解明と実行コストの削減が並行した。Towards Physics of Multimodal Pretraining（19 upvotes）は統合事前学習における知識の流れとモダリティ相乗効果を実証的に切り分け、早期統合の効果とレシピを提示する。OmniPack（24 upvotes）は冗長な長大映像・音声トークン列を統合的に圧縮して推論負荷を下げ、ToolArtist（30 upvotes）はツール利用を統合マルチモーダルモデルに組み込んで開放世界の画像生成へ踏み込む。統合の理屈と、それを実用域へ収める工学が同時に進んでいる。
世界モデルの位置づけ
Quo Vadis, World Modeling?（30 upvotes）は、実環境との相互作用が高コスト・低速・危険で並列化も難しいという制約から出発し、世界モデルを「安価で制御可能なフィードバックを問い合わせる中間プロキシ」として位置づけ直す。個別手法の性能競争ではなく、世界モデルが継続学習するエージェントのどこに置かれるべきかという役割論が前面に出た格好である。