Kwai Keye-VL-2.0が166 upvotesでMoEマルチモーダル基盤モデルの新水準を示し、Role-AgentやRetrospective Harness Optimizationがエージェントの自己改善手法を多角的に提案。SearchSwarmの委任知能やRethinking Divergence RegularizationのRL理論再検討も注目を集めた。
注目論文
Kwai Keye-VL-2.0 Technical Report
著者: Kwai Keye Team, Bin Wen, Changyi Liu et al.
オープンソースのMixture-of-Experts（MoE）マルチモーダル基盤モデル（30B-A3B）を提案し、長時間動画理解とエージェント知能の両面で高い性能を実現した研究（166 upvotes）。
新規性: 超長文コンテキスト・情報冗長性・計算コストの三重課題に対し、MoEアーキテクチャによる効率的なアクティブパラメータ選択と長時間動画理解に特化した設計を統合した。30Bパラメータ中わずか3Bがアクティブという高効率な構成でありながら、マルチモーダル理解とエージェント的タスク実行の両方で競争力のある性能を達成している。
手法: MoEアーキテクチャにより入力に応じてエキスパートを動的に選択し、計算コストを抑えつつモデル容量を確保する。長時間動画に対する情報冗長性の削減機構と、エージェント知能のためのタスク実行能力を統合的に設計している。
Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution
著者: Xucong Wang, Ziyu Ma, Shidong Yang et al.
LLMエージェントがタスク解決者と環境設計者の二重役割を交互に担うことで、自律的にスキルを進化させるブートストラップ手法を提案した研究（73 upvotes）。
新規性: 既存のLLMエージェント学習は非効率なインタラクションフィードバックと静的な訓練環境に制約され、汎化能力に限界があった。Role-Agentはエージェント自身が環境を設計する役割も担うデュアルロール進化を導入し、静的環境の制約を突破する初のアプローチである。
手法: エージェントが「タスク解決者」として環境内で行動しフィードバックを得ると同時に、「環境設計者」としてより挑戦的な訓練環境を生成する。この二重ループにより、段階的に難易度が上昇する環境での学習が自律的に進行し、汎化能力が向上する。
Retrospective Harness Optimization: Improving LLM Agents via Self-Preference over Trajectory Rollouts
著者: Wenbo Pan, Shujie Liu, Chin-Yew Lin et al.
エージェントのスキル・ツール・ワークフロー（ハーネス）を、軌跡ロールアウトに対する自己選好により継続的に改善するフレームワークを提案した研究（48 upvotes）。
新規性: 既存のハーネス最適化手法は正解ラベル付き検証セットを必要とするが、実環境でこうしたデータの取得は困難である。本手法はグラウンドトゥルースなしに、エージェント自身の軌跡ロールアウト間の自己選好比較により最適化信号を生成する点が新しい。
手法: エージェントが同一タスクに対して複数の軌跡をロールアウトし、各軌跡の質をモデル自身が比較・評価する。この自己選好信号を用いてスキルやワークフローを反復的に改善し、外部の検証セットに依存せずハーネス全体を最適化する。
SearchSwarm: Towards Delegation Intelligence in Agentic LLMs for Long-Horizon Deep Research
著者: Pu Ning, Quan Chen, Kun Tao et al.
メインエージェントがサブエージェントにタスクを委任する「委任知能」により、有限コンテキストウィンドウの制約下で長期深層リサーチを実現するフレームワークを提案した研究（43 upvotes）。
新規性: LLMのコンテキストウィンドウは本質的に有限だが、複雑な長期タスクのコンテキスト要求は際限なく増大する。本研究はタスクの分解・委任・統合を階層的に行う「委任知能」を定式化し、コンテキスト制約とタスク複雑性のギャップを体系的に解消する。
手法: メインエージェントが複雑なリサーチタスクをサブタスクに分解し、各サブエージェントに委任する。サブエージェントの結果を階層的に統合することで、単一エージェントのコンテキスト制限を超える深層リサーチを可能にする。
MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism
著者: Cong Chen, Guo Gan, Kaixiang Ji et al.
知覚と推論を分離し、階層グラフメモリとエージェント的検索により数時間規模の長時間動画理解を実現するフレームワークを提案した研究（35 upvotes）。
新規性: 現在のVision-Language Modelsは数時間規模の動画に対してトークン爆発と注意の希薄化が発生し、実用的な処理が困難であった。MemDreamerは知覚と推論を明示的に分離し、長時間動画理解をエージェント的な記憶検索タスクとして再定式化する新たなパラダイムを提示した。
手法: 動画の視覚情報を階層的なグラフメモリに構造化して格納し、推論時にはエージェント的検索メカニズムが必要な情報のみを効率的に取得する。全フレームを同時処理する代わりに、記憶の読み書きにより計算コストを大幅に削減する。
Rethinking the Divergence Regularization in LLM RL
著者: Jiarui Yao, Xiangxin Zhou, Penghui Qi et al.
LLMの強化学習におけるtrust-region制御の発散正則化を理論的に再検討し、オフポリシー性に対応した改善手法を提案した研究（26 upvotes）。
新規性: LLM RLは訓練と推論の不一致やポリシーの古さにより本質的にオフポリシーとなるが、PPO等の主流手法が採用する発散正則化はこの問題を十分に考慮していなかった。本研究はオフポリシー性がtrust-region制御に与える影響を理論的に分析し、実用的な改善策を提示した。
手法: 既存のPPO系手法における発散正則化の挙動をオフポリシー条件下で理論的に分析し、ポリシーの古さに起因する最適化の不安定性を特定する。この分析に基づき、オフポリシー性に頑健な正則化手法を設計する。
Attention Amnesia in Hybrid LLMs: When CoT Fine-Tuning Breaks Long-Range Recall, and How to Fix It
著者: Xinyu Zhou, Boyu Zhu, Yi Xu et al.
Chain-of-Thought教師ありファインチューニングがハイブリッド線形注意モデルの長距離リコールを体系的に劣化させることを発見し、修正手法を提案した研究（12 upvotes）。
新規性: CoT SFTは推論能力向上の標準的手法として広く採用されているが、ハイブリッド線形注意モデル（HypeNet、Jet-Nemotron等）において長距離リコール性能を体系的に破壊するという予期せぬ副作用を初めて報告した。
手法: 複数のハイブリッドアーキテクチャに対してCoT SFT前後のNeedle-In-A-Haystack検索性能を評価し、劣化パターンを特定する。線形注意層の特性に起因するメカニズムを分析し、リコール能力を保持しつつ推論能力を獲得する修正手法を提案する。
SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction
著者: Yuting Ning, Zhehao Zhang, Yash Kumar Lal et al.
エージェントスキルのライフサイクル全体（作成・配布・実行）を対象とした攻撃を自動構築するフレームワークを提案し、スキルベース攻撃の脅威を体系的に評価した研究（9 upvotes）。
新規性: エージェントスキルはワークフロー内で暗黙的に実行される特権的な位置を占めるため、サードパーティスキルは脆弱な攻撃面となる。既存研究は主にスキル実行段階のみを評価していたが、本研究はスキルの作成から配布、実行までのライフサイクル全体にわたる攻撃を初めて体系的に分析した。
手法: スキルのライフサイクル各段階に対応する攻撃ベクトルを定義し、攻撃スキルの自動構築パイプラインを設計する。生成された攻撃スキルを複数のエージェントフレームワーク上で評価し、段階ごとの脆弱性プロファイルを明らかにする。
CodeAlchemy: Synthetic Code Rewriting at Scale
著者: Ankit Gupta, Aditya Prasad, Rameswar Panda
公開ソースコードを意味的に豊かな訓練データに変換する5つの合成データ生成戦略を提案し、15言語500B+トークンの大規模合成コードデータセットを構築した研究。
新規性: 合成データは言語モデルに革新をもたらしたが、コード領域では品質改善以外の探求が限定的であった。CodeAlchemyは品質向上・QA・開発タスク・対話・実行トレースの5戦略を統合し、14言語5,000ライブラリにわたる実行トレースを含む前例のない規模の合成コードデータを生成した。3Bモデルが27B Gemma-3や32B Granite-4.0を上回る性能を達成した。
手法: CodeEnhance（品質リライト）、CodeQA（テンプレートベース問題）、CodeDev（開発タスク）、CodeDialogue（マルチターン対話）、CodeTrace（実行トレース）の5戦略で公開コードを変換する。CodeTraceは130万以上のファイルを計装・実行し、制御フロー・状態追跡・ライブラリ知識を捕捉する。
Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
著者: Aditya Sharma, Christopher J. Pal, Amal Zouaq
入力埋め込みと思考埋め込みの幾何学的差異を直交回転として捉え、訓練不要で推論能力を改善する手法を提案した研究。
新規性: 推論モデルの入力表現と思考表現が埋め込み空間の幾何学的に異なる領域に存在することを発見し、この遷移を直交プロクラステス分析による回転問題として定式化した。少数の正解例から推定した回転行列を推論時に注入するだけで、32中30のモデル・ベンチマーク構成で精度が向上する訓練不要の手法である。
手法: 入力埋め込みと思考埋め込み（推論トレース上の平均プーリング隠れ状態）のペアから直交プロクラステス分析で回転行列を推定する。推論時にこの回転から生成された合成思考ベクトルを思考区切りトークン間に挿入し、推論トレースの開始時に幾何学的プライミングを提供する。
分野別の動向
LLMエージェントの自己進化
本日最も顕著なトレンドは、エージェントの自律的な進化・改善手法の多様化である。Role-Agentのデュアルロール進化（73 upvotes）、Retrospective Harness Optimizationの軌跡ベース自己選好（48 upvotes）、SearchSwarmの階層的委任知能（43 upvotes）と、いずれもエージェントが外部の教師信号に依存せず自律的に能力を向上させるアプローチを提案している。前日のLatentSkillがスキルの表現形式に焦点を当てたのに対し、本日はスキル獲得・改善のダイナミクス自体が中心テーマとなっており、エージェント研究が静的な能力付与から動的な成長メカニズムへと移行しつつあることを示している。SkillHarmによるスキルライフサイクル全体の攻撃分析は、この進化の安全性面での課題を浮き彫りにしている。
マルチモーダル基盤モデル
Kwai Keye-VL-2.0（166 upvotes）がMoEアーキテクチャによる効率的なマルチモーダル基盤モデルを提示し、MemDreamer（35 upvotes）が長時間動画理解の新たなパラダイムを提案した。両者に共通するのは「全情報を一度に処理しない」という設計思想であり、MoEによるエキスパート選択とエージェント的メモリ検索という異なるレベルでの効率化が進んでいる。Late-Layer Fusionの視覚トークンルーティング研究も、マルチモーダルモデルにおけるモダリティ間の計算量非対称性を指摘しており、均一な計算配分からの脱却が共通の方向性となっている。
強化学習の理論的基盤
Rethinking the Divergence Regularizationがオフポリシー性を考慮したtrust-region制御の再検討を行い、Flow-DPPOがフローマッチングモデルへのRL適用を進展させた。前日のReasoning Arenaが報酬信号の限界を指摘したのに続き、LLM RLの理論的基盤を固める研究が連日発表されている。RLVR/RLHFの実務が急速に普及する中で、最適化の安定性と理論的保証の確立が急務となっている。
モデル内部機構と推論改善
Rotate2Thinkが推論モデルの入力・思考表現の幾何学的分離を発見し、訓練不要の推論改善を実現した。Attention Amnesiaが CoT SFTの予期せぬ副作用を報告したことと合わせ、推論能力の獲得メカニズムに対する理解が深まっている。前日の角度-ノルム分解による活性化ステアリング分析に続き、モデル内部の幾何学的構造の理解と活用が連日の注目テーマとなっている。arXivのMechanistic Analysis of Alignment Algorithmsも6つのアライメント手法の内部計算への影響を系統的に比較しており、ブラックボックス的評価からの脱却が進んでいる。
コード生成・合成データ
CodeAlchemyが15言語500B+トークンの合成コードデータ生成を実現し、3Bモデルで10倍大きなモデルを上回る性能を達成した。特にCodeTraceによる実行トレース付き合成データは、モデルのコード意味理解を大幅に向上させる可能性がある。フロンティアモデルがTraceEvalで5.6%のexact matchしか達成できないという結果は、現行モデルのコード意味理解の限界を如実に示している。