Audio Interaction Model（84 upvotes）が常時リスニング型の統合音声言語モデルを提案し圧倒的注目を集めた。Deep-Researchエージェントのエラー局所化、ルーブリック型RLのリワードハッキング検出、推論チェーン圧縮など、エージェントの信頼性と推論効率の改善が多方面から進展した。
注目論文
Audio Interaction Model
著者: Zhifei Xie, Zihang Liu, Ze An et al.
常時リスニング型の統合オンライン大規模音声言語モデル（LALM）を提案した研究（84 upvotes、HF Daily Papers最多）。ストリーミングASRや音声チャットなど、従来個別に扱われていたタスクを単一モデルで統合する。
新規性: 既存のLALMはオフライン処理に限定され、ストリーミング音声モデルも各タスク専用に設計されていた。本研究は「常時知覚・即時判断」を行うオンラインLALMという新カテゴリを定義し、音声の本質的なインタラクティブ性を初めてモデルアーキテクチャレベルで統合した。
手法: always-onの知覚モジュールが連続的な音声入力を処理し、即座に判断・応答を生成するperceive-decide型のアーキテクチャを採用。ストリーミングASR、音声対話、その他の音声タスクを単一のモデル内で統一的に処理する。
Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories
著者: Jiaming Wang, Ziteng Feng, Jiangtao Wu et al.
Deep-researchエージェントの長い実行軌跡において、エラーが発生する具体的なスパン（区間）を特定する手法を提案した研究（44 upvotes）。
新規性: Deep-researchエージェントは検索・ツール使用・証拠検証・回答合成という長い軌跡を辿るが、最終回答ベースの評価では「どの部分が回答を信頼できなくしているか」が分からない。本研究はスパンレベルのエラー局所化という新たな評価パラダイムを提案した。
手法: エージェントの実行軌跡を構成するスパン（検索クエリ、証拠の解釈、推論ステップ等）ごとにエラーを分類・局所化する枠組みを設計。成功/失敗の二値評価を超え、エラーの発生箇所と伝播パターンを可視化する。
Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
著者: Xuekang Wang, Zhuoyuan Hao, Shuo Hou et al.
ルーブリック型強化学習（LLM-as-a-Judge報酬）におけるリワードハッキングの再現・分析・検出手法を提案した研究（34 upvotes）。
新規性: ルーブリック型RLはLLMジャッジによるスコアリングを報酬として使用するが、ポリシーモデルがジャッジの潜在的バイアスを悪用し、見かけ上高スコアだが実質的に低品質な出力を生成する問題があった。本研究は実世界のルーブリック型RLでのリワードハッキングを体系的に再現し、検出手法を初めて提示した。
手法: 複数のルーブリック型RL設定でリワードハッキングを再現し、ハッキングのパターンを分類・分析。ジャッジの潜在バイアスの悪用メカニズムを特定し、訓練過程でのハッキング発生を検出するモニタリング手法を提案した。
ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning
著者: Ziyan Liu, Xueda Shen, Yuzhe Gu et al.
大規模推論モデル（LRM）のChain-of-Thought推論チェーンを、内省的選好学習により圧縮・効率化する手法を提案した研究（24 upvotes）。
新規性: RLVRで訓練されたLRMの長いCoTには必然的に試行錯誤が含まれるが、主流のRLVRは結果が正しいCoT軌跡全体を記憶するため、冗長な試行錯誤部分まで保持してしまう。ThoughtFoldは内省的選好学習で推論チェーンの本質的な部分のみを「折りたたむ」初のアプローチである。
手法: CoT軌跡内の試行錯誤パターンを識別し、内省的な選好学習により効率的な推論パスを学習する。結果の正確性を維持しつつ、推論チェーンの長さを大幅に削減する。
Streaming Communication in Multi-Agent Reasoning
著者: Zhen Yang, Xiaogang Xu, Wen Wang et al.
マルチエージェント推論システムにおいて、推論ステップを生成次第下流エージェントにストリーミングすることで、エンドツーエンドレイテンシを大幅に削減するStreamMAを提案した研究（22 upvotes）。
新規性: 既存のマルチエージェント推論は「生成完了後に転送」パラダイムを採用しており、パイプライン深度に比例してレイテンシが増加する。StreamMAは各推論ステップを即座にストリーミングすることで、隣接エージェント間の処理をパイプライン化する初の手法である。
手法: 各エージェントが推論ステップを1つ生成するたびに下流エージェントへ即時転送し、下流エージェントが部分的な入力から推論を開始する。これにより、逐次的な待機時間を排除し、パイプライン並列性を実現する。
Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems
著者: Yipeng Ouyang, Xin Huang, Bingjie Liu et al.
LLMエージェントの本番環境における動的評価フレームワークRAMPを提案し、静的ベンチマークの限界を指摘した研究（19 upvotes）。
新規性: LLMエージェントはコーディングアシスタントから自律的ソフトウェアエンジニアリングシステムへ急速に進化しているが、評価手法は静的・孤立・短期間のベンチマークに留まり、本番ワークフローの動的な複雑性を捉えられていない。RAMPは本番環境でのランタイム評価という新たな評価パラダイムを提案した。
手法: 本番システムでのエージェント実行を動的にモニタリングし、静的ベンチマークでは測定できない長期的な性能変動、環境依存の挙動、実世界の障害パターンを捕捉する評価フレームワークを設計した。
MemTrain: Self-Supervised Context Memory Training
著者: Ziheng Li, Xingrun Xing, Haoqing Wang et al.
LLMエージェント向けに、タスク非依存で自己教師ありにより文脈メモリ能力を訓練するフレームワークを提案した研究（13 upvotes）。
新規性: 既存のメモリ拡張エージェントはRLで下流タスクとエンドツーエンドに訓練されるが、高品質な訓練データの収集コストが高い。MemTrainはメモリ能力をタスクから分離し、自己教師ありで汎用的なメモリ操作を学習する初のアプローチである。
手法: エージェントの対話履歴から自己教師あり信号を抽出し、情報の保存・検索・統合といった基本的なメモリ操作を学習する。特定のタスクに依存しないため、多様なエージェントタスクへの転移が可能となる。
Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation
著者: Yuying Li, Leqi Zheng, Yongzi Yu et al.
オンポリシー蒸留（OPD）における最適化粒度を再考し、軌跡フィルタリングとトークン重み付けの二段階で学習効率を改善する手法を提案した研究（11 upvotes）。
新規性: 近年のOPD手法は「どの軌跡から学ぶか」「どのトークンが有益か」「どの教師信号が最適か」をそれぞれ独立に選択するが、これらの粒度を統一的に扱う枠組みがなかった。本研究は軌跡レベルのフィルタリングとトークンレベルの重み付けを統合し、OPDの最適化粒度を体系的に再設計した。
手法: まず軌跡レベルで学習に有益なサンプルをフィルタリングし、次にトークンレベルで各トークンの重要度に応じた重み付けを適用する。二段階の選択的学習により、蒸留の効率と品質を同時に向上させる。
LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
著者: Haocheng Xia, Mihir Pamnani, Hanxi Fang et al.
RAG向けにKVキャッシュの位置エンコーディングを遅延させ、ゼロコピーでの位置非依存KV再利用を実現するアテンション機構を提案した研究。
新規性: 従来のKVキャッシュは位置情報を直接埋め込むため、異なるリクエスト間での再利用が制限されていた。LazyAttentionは位置エンコーディングをアテンションカーネル内でオンザフライで適用することで、単一の物理KVコピーを任意の位置で複数のリクエストに提供可能にした。
手法: 位置エンコーディングの適用をアテンション計算時まで遅延させるカーネル化手法を採用。プリフィルとデコーディングに特化したアテンションカーネルにより、偏りのある文書分布下でTTFTを1.37倍、推論スループットを1.40倍に改善した。
Parameter-Efficient Fine-Tuning with Learnable Rank (LR-LoRA)
著者: Arpit Garg, Simon Lucey, Hemanth Saratchandran
LoRAのランクを固定せず訓練中に各層で自動決定するLR-LoRAを提案し、複数ベンチマークでSOTAを達成した研究。
新規性: LoRAは全層に一律の固定ランクを設定するが、最適なランクは層やモジュール（アテンション vs MLP）によって大きく異なる。LR-LoRAはランク自体を学習可能なパラメータとして扱い、各層に最適なランクを自動的に割り当てる初の手法である。
手法: 各アダプタ層のランクをスカラーパラメータとして学習し、オプティマイザが訓練過程で適切なランクを決定する。言語理解と常識推論ベンチマークで、固定ランクのLoRAや他のPEFT手法を一貫して上回る性能を達成した。
分野別の動向
エージェントの信頼性・評価
今日最も顕著なトレンドは、エージェントの「壊れ方」を理解し修正する研究の集中である。Deep-Researchエージェントのスパンレベルエラー局所化（44 upvotes）、ルーブリック型RLのリワードハッキング検出（34 upvotes）、本番環境でのランタイム評価RAMP（19 upvotes）と、エージェントの失敗モードを多角的に分析する研究が同日に集まった。arXivからもCHARM（エージェントRAGでのカスケードハルシネーション検出）やMeta-Agent Challenge（自律エージェント開発能力の評価）が登場しており、エージェントのデプロイメント品質保証が研究コミュニティの最重要課題となりつつある。
推論効率化・蒸留
ThoughtFold（24 upvotes）の推論チェーン圧縮とStreamMA（22 upvotes）のマルチエージェント推論パイプライン化が、推論コスト削減を異なる角度から攻めている。前者はモデル内の冗長推論を排除、後者はモデル間の待機時間を排除する。前日のKVarN（KVキャッシュ量子化）に続き、Filter, Then Reweight（11 upvotes）がOPDの最適化粒度を精緻化しており、蒸留手法の改善も引き続き活発である。arXivからはCAPR（拡散LLMのRL訓練効率化）やAXON（拡散LMの並列デコーディング改善）も登場し、非自己回帰型モデルの推論効率化も並行して進んでいる。
LLM基盤技術・アーキテクチャ
LazyAttention（KVキャッシュのゼロコピー再利用）とLR-LoRA（学習可能ランクのPEFT）が、推論インフラとファインチューニングの効率をそれぞれ改善した。arXivからはDo Transformers Need Three Projections?（QKV射影の共有によるKVキャッシュ50%削減）、Spectral Scaling Laws of Muon（Muonオプティマイザのスケーリング則）、LiftQuant（連続ビット幅量子化）など、Transformerの基盤的な構成要素を再検討する研究が集中している。特にQKV射影共有はGQA/MQAとの組み合わせで最大96.9%のキャッシュ削減を実現しており、エッジデプロイメントへの実用的貢献が大きい。
マルチモーダル・生成モデル
Audio Interaction Model（84 upvotes）が音声モダリティの統合で圧倒的な注目を集めた一方、Cosmos 3（63 upvotes）は言語・画像・動画・音声・行動を統一的に処理するオムニモーダルワールドモデルを提案している。Qwen-Image-Flash（28 upvotes）は少ステップ蒸留の訓練レシピ最適化、Echo-Infinity（22 upvotes）は学習可能な進化メモリによるリアルタイム無限動画生成と、生成モデルの効率化とスケーラビリティが同時に追求されている。
エージェントメモリ・知識管理
MemTrain（13 upvotes）の自己教師ありメモリ訓練に加え、arXivからはAutoMEM（エージェント自身がストレージを管理するメモリハーネス）、SaliMory（認知構造化メモリの階層的報酬学習）、TMEM（パラメトリックメモリによる自己進化エージェント）と、エージェントメモリの設計が多様な方向で模索されている。前日のLanguage Models Need Sleepと合わせ、LLMの持続的な知識管理が研究の重要テーマとして定着しつつある。