マルチモーダル検索エージェントの再現可能なオープンレシピ、GRPOの集約バイアスを統一的に修正するBalanced Aggregation、ICLタスク符号化の分散テンプレート仮説など、エージェント検索・RL最適化・モデル内部メカニズムの三方向で実践的知見が蓄積。
注目論文
OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents
著者: Shuang Chen, Kaituo Feng, Hangting Chen et al.
ディープサーチはフロンティアマルチモーダルエージェントの中核能力だが、トップレベルのマルチモーダル検索エージェントは再現が困難であった。本研究はアクティブ検索・証拠検証・多段推論を統合したマルチモーダル検索エージェントの再現可能なオープンレシピを提供した（80 upvotes）。
新規性: 産業界が独占してきたマルチモーダルディープサーチの全パイプラインをオープンソースとして公開し、視覚情報を含む複雑な質問に対する能動的検索と多段推論の統合手法を再現可能な形で提示した点が重要である。
手法: モデルが複雑な質問に対してアクティブに検索を行い、取得した証拠を検証しながら多段推論で回答を導出する。視覚とテキストの両モダリティを統合した検索エージェントアーキテクチャを構築し、学習パイプライン全体を公開している。
Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems
著者: Yilun Zhao, Jinbiao Wei, Tingyu Song et al.
推論集約型リトリーバルは単なるトピック類似性のマッチングではなく、下流の推論を支える証拠の表面化を目指す。エージェント型検索システムでは反復的な検索と統合を通じて補完的証拠を提供する必要がある。本研究はこの能力を評価・改善するフレームワークを提案した（27 upvotes）。
新規性: リトリーバーに求められる能力を「トピック関連性」から「推論支援」へと再定義し、エージェント型検索における反復的証拠収集に適したリトリーバーの評価軸と改善手法を体系化した。
手法: エージェント型検索システムにおけるリトリーバーの役割を分析し、反復検索・統合プロセスで補完的証拠を提供する能力を評価するベンチマークを構築。既存リトリーバーの限界を特定し、推論集約型タスクに適した改善方向を提示している。
Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO
著者: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin et al.
GRPOスタイルの学習で見過ごされてきた設計選択として、トークンレベルのポリシー勾配項をグループ内でどう集約するかという問題がある。トークン集約は符号と長さの結合バイアスを、シーケンス集約は長い応答の暗黙的な重み低下を引き起こす。本研究はこれらを統一的に理解し修正するBalanced Aggregationを提案した。
新規性: トークン集約とシーケンス集約のバイアスを初めて理論的に整理し、正例・負例サブセット内で別々にトークン平均を計算してからシーケンス数ベースの重みで結合するというシンプルなドロップイン置換で両バイアスを同時に解消した。
手法: 正のアドバンテージと負のアドバンテージを持つ応答群を分離し、各群内でトークンレベル平均を計算後、群のシーケンス数に基づく重みで統合する。Qwen2.5-Math-7BとQwen3-1.7Bで6つの推論・コーディングベンチマークにおいて標準的な集約手法を一貫して上回った。
ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning
著者: Zihan Lin, Xiaohan Wang, Jie Cao et al.
RLVRはLLMの推論能力を強化するが、正の報酬の過剰なインセンティブにより生成多様性が制限される問題がある。負例サンプル強化（NSR）はこの問題を緩和するが十分ではない。本研究は負例サンプル射影による残差強化学習ResRLを提案し、推論能力と生成多様性の同時向上を実現した（3 upvotes）。
新規性: 負例サンプルを射影空間に変換し、残差学習として定式化することで、正例偏重による多様性低下を防ぎつつ推論性能を向上させる新たなRL学習フレームワークを構築した。
手法: 負例サンプルの勾配情報を射影し、正例からの学習信号に残差として加算する。これにより負例からも建設的な学習信号を抽出し、生成多様性を維持しながら推論精度を改善する。
Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping for Unsupervised Reasoning in LLMs
著者: Yiming Huang, Zhenbo Shi, Xin-Cheng Wen et al.
教師なしRLはLLMの自己改善パラダイムとして有望だが、既存手法は訓練中に進化するモデルの推論能力に適応できない。本研究は自由エネルギー原理に基づく報酬設計（FER）と適応的アドバンテージ整形（AAS）を組み合わせたFREIAを提案した。
新規性: 自由エネルギー原理を導入し、合意と探索のバランスを動的に調整する報酬を設計した点が独自である。サンプル報酬の統計的特性に基づいて学習信号を適応的に調整するAASとの組み合わせにより、教師なし設定での安定した推論改善を実現している。
手法: FERは自由エネルギー原理に基づき、モデルの現在の能力に応じて報酬の合意・探索バランスを調整する。AASはサンプリングされた報酬の分布特性からアドバンテージの形状を動的に変更する。DeepSeek-R1-Distill-Qwen-1.5Bで数学推論タスクにおいて他の教師なしRL手法を平均0.5〜3.5ポイント上回った。
UniVer: A Unified Perspective for Multi-step and Multi-draft Speculative Decoding
著者: (arXiv cs.CL)
投機的デコーディングはドラフト生成後の検証を通じてLLMを高速化するが、マルチドラフトとマルチステップの検証は別々に扱われてきた。本研究はツリーベースの検証を条件付き最適輸送問題として統一的に定式化するUniVerを提案した。
新規性: 垂直方向の依存関係をプレフィックス受理確率として抽象化し、これを動的スケーリング因子として水平方向のドラフト選択をガイドするという洞察により、マルチステップとマルチドラフトの両次元を同時に最適化する初の統一検証アルゴリズムを実現した。
手法: プレフィックス制約の下で局所的な最適輸送計画を合成し、ツリーレベル全体で検証を最適化する。理論的に無損失性と条件付きフレームワークでの最適受理率を証明し、多様なタスク・モデルで有効性を実証している。
Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning
著者: Bryan Cheng, Jasper Zhang
ICLにおけるタスク同定がモデル内部でどのように符号化されるかは未解明であった。先行研究は線形プロービングでタスク表現を局在化し高い分類精度を報告してきたが、本研究はプロービング精度が因果的重要性を全く予測しないという衝撃的な乖離を明らかにした。
新規性: 単一位置の活性化介入がLlama-3.2-3Bの全28層で0%のタスク転移しか達成しないことを示し（プロービング精度100%にもかかわらず）、タスク符号化が本質的に分散的であることを実証した。デモンストレーション出力トークン全体の同時介入で最大96%の転移を達成し、ICLの因果的所在を初めて特定した。
手法: LLaMA、Qwen、Gemmaの3アーキテクチャファミリー4モデルで検証し、ネットワーク深度約30%に普遍的な介入窓を発見。クエリ位置が厳密に必要（53-100%の破壊）である一方、個別のデモンストレーション位置は不要（0%の破壊）という非対称アーキテクチャを解明した。
SCOUT: Active Information Foraging for Long-Text Understanding with Decoupled Epistemic States
著者: Zhenliang Zhang, Wenqing Wang, Yong Hu et al.
百万トークン規模の長文理解は推論精度と計算効率のバランスを要求する。フロンティアモデルは高いトークン消費と注意力の希釈に悩み、特化型エージェントはタスク非依存の抽象化で精度を犠牲にする。本研究は受動的処理から能動的情報探索へとパラダイムを転換するSCOUTを提案した。
新規性: 文書を探索可能な環境として扱い、クエリ十分な部分集合からコンパクトで出典に紐づいた認識状態で回答する設計が独自である。状態レベルのギャップ診断により粗から細への探索と固定的な状態更新を適応的に切り替える。
手法: 認識状態をクエリ充足性に向けて漸進的に収縮させるアクティブ情報探索を行う。最先端のプロプライエタリモデルと同等の性能を達成しつつトークン消費を最大8倍削減し、コンテキスト長のスケーリングに対して安定した性能を維持する。
Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting
著者: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong et al.
プロンプト圧縮はLLMの推論コスト削減に直結するが、既存手法はトークン削除に依存し情報損失が大きい。本研究は自然言語を記号豊富な構造化方言に書き換えるTelegraph Englishプロトコルを提案した。
新規性: トークン削除ではなく完全な意味的書き換えを行い、入力を原子的事実行に分解して約40の論理・関係記号で置換する。圧縮とセマンティックチャンキングが同一操作となり、各出力行が独立にアドレス可能な事実となる点が画期的である。
手法: LongBench-v2の4,081問で5つのOpenAIモデルと2難易度レベルで評価。約50%のトークン削減でGPT-4.1において99.1%の主要事実精度を維持し、全モデル・タスクでLLMLingua-2を上回った。小規模モデルでは最大11ポイントの差が開き、明示的な関係構造がモデル能力の限界を補完することを示した。
Validity-Calibrated Reasoning Distillation
著者: Khouloud Saadi, Di Wang
推論蒸留は大規模モデルの多段推論能力を小規模モデルに転移するが、既存手法は静的な教師-生徒階層に依存し軌跡の模倣として定式化されている。本研究は蒸留を局所的な学習信号の配分問題として再定式化するvalidity-calibrated reasoning distillationを提案した。
新規性: トークンレベルの模倣を強制する代わりに、同一プレフィックス下での生徒と教師の次ステップ行動の相対的な局所妥当性に基づいて蒸留更新の強度を調整する動的・文脈依存的な監督機構を構築した。
手法: 教師の構造的ガイダンスを維持しつつ、局所的な推論品質に応じて更新強度を適応させる。数学推論・コード生成・命令追従ベンチマークで強力な蒸留ベースラインを一貫して上回り、効果的な蒸留が軌跡模倣ではなく局所的に較正された学習信号配分に依存することを示した。
分野別の動向
RLVR最適化・学習ダイナミクス
Balanced AggregationがGRPOのトークン集約・シーケンス集約のバイアスを統一的に理解し修正する手法を提示した。ResRLは負例サンプル射影による残差学習で生成多様性と推論能力の両立を図り、FREIAは自由エネルギー原理を教師なしRL報酬に導入した。APMPO（Adaptive Power-Mean Policy Optimization）もパワー平均目的関数によるRLVRの適応的最適化を提案しており、RLVRの学習ダイナミクスの精密な制御が今週の中心テーマとなっている。前日のRLVR検証エラー問題と合わせ、RLVR最適化の実践的課題が集中的に研究されている。
エージェント型検索・情報探索
OpenSearch-VL（80 upvotes）がマルチモーダルディープサーチのオープンレシピを公開し、Rethinking Reasoning-Intensive Retrievalが推論支援型リトリーバーの評価フレームワークを提示した。SCOUTは長文理解を能動的情報探索として再定式化し、トークン消費の大幅削減を実現している。CAR（Confidence-Aware Reranking）も生成器の信頼度変化をリランキング信号として活用する手法を提案しており、検索と推論の統合が多角的に進展している。
LLM内部メカニズム・解釈可能性
Single-Position Intervention Failsがプロービング精度と因果的重要性の完全な乖離を発見し、ICLタスク符号化の分散テンプレート仮説を確立した。What Happens Inside Agent Memoryはエージェントメモリの内部回路をQwen-3ファミリーで追跡し、制御回路が内容回路より早く出現すること、検出可能性と操縦可能性のスケール閾値が異なることを示した。モデル内部メカニズムの理解が因果的介入に基づく厳密な方向へさらに深化している。
推論効率化・圧縮
Telegraph Englishが意味的書き換えによるプロンプト圧縮で50%削減・99.1%精度維持を達成し、UniVerがマルチステップ・マルチドラフト投機的デコーディングを条件付き最適輸送で統一した。EdgeRazorは1.58ビットまでの極低ビット量子化で15.1倍のデコーディング高速化を実現しており、RetentiveKVはKVキャッシュを状態空間モデルで連続的メモリ進化として再定式化し5倍圧縮を達成した。推論効率化の手法が圧縮・デコーディング・キャッシュの各層で同時に進展している。
蒸留・知識転移
Validity-Calibrated Reasoning Distillationが局所妥当性に基づく適応的蒸留を提案し、軌跡模倣からの脱却を図った。RLearner-LLMはHybrid-DPOでNLIに基づく論理的正確性と流暢性のバランスを取る蒸留パイプラインを構築している。Continual Distillation（異なるドメインの教師からの逐次蒸留）も新たなパラダイムとして提案されており、蒸留の目的関数と学習設計の多様化が進んでいる。