OCC-RAG(71 upvotes)がパラメトリック知識に頼らない忠実なRAGを提案し圧倒的注目を集めた。Trust Region OPDが蒸留の安定化、KVarNが長時間推論のKVキャッシュ量子化、マルチドメインRL干渉の理論的解明など、LLM基盤技術の多方面で堅実な進展が見られた。
注目論文
OCC-RAG: Optimal Cognitive Core for Faithful Question Answering
著者: Maksim Savkin, Mikhail Goncharov, Alexander Gambashidze et al.
パラメトリック知識よりも堅牢な推論を重視し、タスク特化型の「最適認知コア」によって忠実な質問応答を実現するRAGフレームワークを提案した研究（71 upvotes、HF Daily Papers最多）。
新規性: 言語モデルの発展はスケールによる知識の内部化で定義されてきたが、多くの実用アプリケーションでは広範なパラメトリック知識よりも堅牢な推論のほうが重要である。OCC-RAGはこの観点から、タスク特化型の推論コアを設計し、外部知識に基づく忠実な回答生成を実現した。
手法: タスクに最適化された認知コアが、検索された文書から推論に必要な情報を抽出・統合する。パラメトリック知識への依存を最小化し、検索結果に基づく忠実な推論を優先するアーキテクチャにより、ハルシネーションを抑制する。
Trust Region On-Policy Distillation
著者: Xingrun Xing, Haoqing Wang, Boyan Gao et al.
教師と生徒の分布差が大きい場合にOn-Policy蒸留（OPD）の訓練が不安定になる問題を、信頼領域制約により解決する手法を提案した研究（33 upvotes）。
新規性: OPDはLLMの効率的なポストトレーニング技術として広く応用されているが、教師と生徒の分布が大きく異なる場合に訓練が不安定化する根本的な問題を抱えていた。本研究は信頼領域の概念を導入し、分布差に起因する不安定性を理論的に分析し、実用的な解決策を初めて提示した。
手法: 蒸留の各ステップで生徒の方策更新を信頼領域内に制約し、教師分布からの急激な逸脱を防止する。これにより、エージェント学習・マルチタスク強化・モデル圧縮など幅広いOPD応用での訓練安定性を向上させる。
KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks
著者: Lorenz K. Muller, Philippe Bich, Chiara Boretti et al.
長時間推論タスクでKVキャッシュが増大する際の量子化誤差蓄積を、分散正規化により軽減する手法を提案した研究（26 upvotes）。
新規性: テスト時スケーリングによる長時間推論はメモリボトルネックに直面し、KVキャッシュ量子化が有効な対策となるが、既存手法はプリフィル的な設定で評価されており、長時間デコーディングでの誤差蓄積が見過ごされていた。KVarNはこの誤差蓄積メカニズムを初めて正面から扱った。
手法: KVキャッシュの各エントリを分散に基づいて正規化した上で量子化することで、長いデコーディング過程での誤差の伝播・蓄積を抑制する。推論タスクにおいてメモリ効率と推論精度の両立を実現する。
A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL
著者: Lei Yang, Siyu Ding, Deyi Xiong
LLMの数学・コード・QA・創作文等の複数ドメインでのRL訓練時に生じる性能干渉のメカニズムを、局所摂動理論で解明した研究（24 upvotes）。
新規性: RLポストトレーニングは個別ドメインでLLMを改善するが、あるドメインの訓練が他ドメインの性能を劣化させる問題が広く知られていた。既存の破滅的忘却に基づく説明では不十分であり、本研究は局所摂動理論という新たな理論的枠組みでドメイン間干渉の本質を初めて解明した。
手法: 各ドメインのRL訓練がパラメータ空間に与える局所的摂動を定式化し、ドメイン間の干渉と回復のダイナミクスを理論的に記述する。この理論に基づき、干渉を最小化しつつ複数ドメインの同時改善を可能にする訓練戦略を導出した。
World Models Meet Language Models: On the Complementarity of Concrete and Abstract Reasoning
著者: Yucheng Zhou, Wei Tao, Yiwen Guo et al.
ワールドモデルの具体的な視覚ロールアウトとMLLMの抽象的推論が相補的であることを実証し、統合による将来予測の改善を示した研究（21 upvotes）。
新規性: ワールドモデルは可能な未来の具体的な視覚シミュレーションを生成でき、MLLMは質問・目標・ルールに対して抽象的に推論できる。両者の相補性は直感的に予想されていたが、体系的な実証はなされていなかった。本研究は両アプローチの強みと限界を定量的にマッピングし、統合の有効性を初めて実証した。
手法: 静的な視覚観測から将来の結果を予測するタスクにおいて、ワールドモデルによる視覚ロールアウトとMLLMによる抽象推論をそれぞれ単独および統合で評価し、具体・抽象推論の相補的な貢献を分析した。
MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection
著者: Haowen Wang, Yaxin Du, Jian Yang et al.
LLMの中間訓練段階におけるデータ選択を、ソース品質を考慮したルーブリックアンカリングで最適化する手法を提案した研究（19 upvotes）。
新規性: 中間訓練はLLM開発の重要な段階となっているが、そのデータ選択問題は事前訓練とも事後訓練とも異なる固有の課題を持つ。データは事前訓練規模で最適化されるが、事後訓練を見据えた能力強化が求められる。MIRAはこの中間訓練特有のデータ選択問題に初めて体系的に取り組んだ。
手法: ルーブリック（評価基準）をアンカーとして各データソースの品質を評価し、ソースごとの特性を考慮した選択・混合比率を決定する。これにより、中間訓練での能力強化効率を向上させる。
TRON: Targeted Rule-Verifiable Online Environments for Visual Reasoning RL
著者: Tianze Yang, Yucheng Shi, Ruitong Sun et al.
視覚推論RLのためのスケーラブルで検証可能なオンライン環境を自動生成するフレームワークを提案した研究（16 upvotes）。
新規性: 視覚RLのポストトレーニングは静的なキュレーション済みデータセットに依存しており、固定された画像-質問-回答サンプルが収集予算に制約される。TRONはルールベースで検証可能なオンライン環境を動的に生成することで、この制約を克服した。
手法: ターゲットとなるルールに基づいて視覚推論タスクを動的に生成し、回答の正誤をルールにより自動検証する。これにより、スケーラブルで制御可能な訓練信号を提供し、静的データセットの制約から解放される。
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
著者: Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni
睡眠中の記憶統合プロセスに着想を得て、LLMが自己のパラメータを修正し記憶を統合する能力を学習するフレームワークを提案した研究（14 upvotes）。
新規性: 現在のLLMはタスク実行時に即座に予測を行うが、人間の脳が睡眠中に行うような記憶の再構成・統合プロセスを持たない。本研究は「睡眠」フェーズの概念をLLMに導入し、自己修正と記憶統合を学習可能にする初の試みである。
手法: タスク実行後の「睡眠」フェーズにおいて、モデルが自身のパラメータや内部表現を修正・統合するメカニズムを学習する。これにより、インコンテキスト学習を超えた持続的な知識獲得と整理を実現する。
Adaptive Latent Agentic Reasoning
著者: Dongwon Jung, Peng Shi, Yi Zhang et al.
LLMエージェントの推論効率化のため、コンパクトな潜在推論と明示的CoTを適応的に切り替えるデュアルモードフレームワークALARを提案した研究。
新規性: 現在のLLMエージェントは各ターンで冗長なテキスト推論を生成し、推論労力をターン間でほぼ均一に配分するため、マルチターン軌跡で大幅な非効率が生じる。ALARは潜在推論モードとCoTモードの適応的切り替えにより、この非効率を初めて体系的に解決した。
手法: エージェントのアクションを教師信号として潜在推論を学習し、潜在推論で十分な場合はそれを使用、より深い熟慮が必要な場合のみ明示的CoTにエスカレーションする。検索タスクで最大43.6%、ツール使用タスクで最大84.6%のトークン削減を達成した。
Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams
著者: Zewen Liu, Zhan Shi, Yisi Sang et al.
オープンエンドなタスクストリームに対してエージェントシステムが継続的に自己改善するフレームワークを提案した研究（10 upvotes）。
新規性: A-EvolveやGEPAなどの既存のオートハーネスシステムは固定的なオフラインベンチマークで評価されているが、実際のデプロイメントではオープンエンドなタスクストリームに直面する。本研究はこの現実的な設定での持続的自己改善を初めて体系化した。
手法: プロンプト・スキル・ツール・メモリ・支援インフラの最適化を実行フィードバックから行うオートハーネスを、オープンエンドタスクストリームに適応させる。新規タスクタイプへの適応と既存能力の維持を両立する継続的改善メカニズムを設計した。
分野別の動向
LLM基盤技術・訓練
Trust Region OPD（33 upvotes）とMIRA（19 upvotes）が、LLMの訓練パイプラインの異なるフェーズでの最適化を提案した。前者は蒸留の安定化、後者は中間訓練のデータ選択と、ポストトレーニング全体の効率と品質を同時に引き上げる研究が集中している。マルチドメインRL干渉の理論化（24 upvotes）は、汎用LLMのRL訓練における根本的なトレードオフを明らかにし、今後のマルチタスクRL設計に理論的基盤を提供する。arXivからはFilter, Then Reweight（FiRe-OPD）が軌跡レベルとトークンレベルの二段階最適化でOPDを改善しており、蒸留手法の精緻化が急速に進んでいる。
推論効率化・KVキャッシュ
KVarN（26 upvotes）が長時間推論でのKVキャッシュ量子化の誤差蓄積を解決し、Value-Aware Stochastic KV Cache Eviction（6 upvotes）が推論モデルの長いCoT出力に対するKVキャッシュ削減を提案した。前日のDomino（投機的デコーディング）やQuantized Reasoning Models（過剰思考抑制）に続き、推論コスト削減が多角的に進展している。arXivからはFast-dLLM++が拡散LLMの推論でFrechetプロファイルデコーディングにより最大37%のスループット向上を達成しており、非自己回帰型推論の効率化も並行して進んでいる。
エージェント・推論アーキテクチャ
ALAR（潜在推論の適応的切り替え）とAdaptive Auto-Harness（オープンエンドタスクへの継続的自己改善）が、エージェントの実用デプロイメントにおける効率と適応性を同時に改善する研究として注目される。arXivからはReasoning Primitive Induction（エージェントトレースからの推論プリミティブ抽出）やDELTAMEM（残差ツリーによるエージェント記憶管理）も登場しており、エージェントの経験蓄積と再利用のメカニズムが研究の焦点となっている。前日のHarness-1（状態外部化）と合わせ、エージェントアーキテクチャの構造的改善が連日報告されている。
RAG・知識活用
OCC-RAG（71 upvotes）がパラメトリック知識への依存を減らす忠実なRAGを提案し、圧倒的な注目を集めた。World Models Meet Language Models（21 upvotes）も外部知識（視覚シミュレーション）と内部推論の統合という関連テーマを扱っている。arXivからはMemory Retrieval for Changing Preferences（ベイズ因子に基づく動的メモリ検索）やLanguage Models Need Sleep（記憶統合）など、LLMの知識管理全般に対する根本的な再設計が多方面から進んでいる。
マルチモーダル・ビデオ理解
Benchmarking Visual State Tracking（15 upvotes）がマルチモーダルLLMのビデオ状態追跡能力を体系的に評価し、From Activation to Causality（40 upvotes）が人間の脳における視覚表現の因果的発見に取り組んだ。NVIDIA OmniDreams（13 upvotes）は自動運転向けのリアルタイム生成ワールドモデルを提案しており、視覚理解と生成の両面で実用的な応用が進展している。