2.8Tパラメータ・活性104BのオープンMoE「Kimi K3」(257 upvotes)が圧倒的首位。キャンバスネイティブ創作エージェント、エージェント的検索へのプロトコル蒸留、ロボット学習の進捗報酬サーベイなど、オープン基盤・蒸留・長期タスクを軸にした研究が並んだ。
注目論文
Kimi K3: Open Frontier Intelligence
著者: Kimi Team, Tongtong Bai, Yifan Bai et al.
2.8Tパラメータ・活性104BのMixture-of-Expertsに、ネイティブな視覚能力と100万トークンの文脈長を備えたオープンフロンティアモデル(257 upvotes、本日最上位)。Kimi Delta AttentionとAttention Residualsにより、系列長と層方向の情報流を改善する。
新規性: 巨大MoEをオープンに公開しつつ、Kimi Delta AttentionとAttention Residualsで長文脈での情報流を強化し、フロンティア級のオープンモデルを実現した点が貢献である。
手法: 活性パラメータを104Bに抑えたMoE構成で計算効率を保ちながら、ネイティブ視覚と100万トークン文脈を統合し、系列長方向・モデル方向の情報伝達を改善するアテンション機構を導入する。
JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents
著者: Yunlong Lin, Zixu Lin, Zhaohu Xing et al.
創作AIは単発のアセット生成から、長期にわたる多モーダルな制作へと移りつつある。画像・動画・音声・UI・絵コンテ・スライドなどを個別に生成できても、現実の創作はそれらを束ねる工程を要する(102 upvotes)。
新規性: キャンバスを中心に据えたマルチモーダル創作エージェントのオープンハーネスを整備し、長期・多モーダルな制作ワークフローを統合的に扱えるようにした点が新しい。
手法: キャンバスネイティブな作業環境上で複数の生成モダリティを束ね、長時間の制作タスクを進行できるエージェントハーネスを提供する。
From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search
著者: Junlin Liu, Jiangwang Chen, Zixin Song et al.
エージェント的検索は、多段推論と検索を交互に行うことで知識集約タスクを解くが、成果ベースの強化学習ではスパースな監督しか得られない(64 upvotes)。知識蒸留はより密なガイダンスを供給できる。
新規性: マルチエージェントのプロトコル蒸留により、独自モデルとオープンソースモデルの分布ギャップを埋め、エージェント的検索の能力を移植した点が貢献である。
手法: 複数エージェント間のプロトコルを蒸留信号として用い、スパースな成果報酬を補う密な監督を与えることで、オープンソースモデルにエージェント的検索能力を移す。
Progress Reward Modeling for Robotic Learning: A Comprehensive Survey
著者: Jianshu Zhang, Keliang Wu, Haoran Lu et al.
ロボット学習は広大な行動空間を持つ動的環境で行われる。終端の成功信号だけでは、現在の行動が進捗しているのか、停滞しているのか、過去の進捗を打ち消しているのかを説明できない(61 upvotes)。
新規性: 進捗そのものを報酬としてモデル化する「進捗報酬モデリング」を体系的に整理した包括的サーベイである点が貢献である。
手法: ロボット学習における進捗報酬の各アプローチを分類・整理し、終端成功信号を超えて行動の進み具合を評価する枠組みを俯瞰する。
Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation
著者: Bingnan Li, Haozhe Wang, Haozhong Xiong et al.
オンポリシー蒸留(OPD)は、現在の生徒が生成した軌跡上で教師に問い合わせることで拡散モデルを適応させるが、現代の拡散系で標準的なClassifier-Free Guidance(CFG)下での挙動は十分に理解されていない(61 upvotes)。
新規性: CFG下でのオンポリシー拡散蒸留の挙動を再検討し、既存OPD手法が抱える問題を明らかにした点が新しい。
手法: 生徒が生成した軌跡に沿って教師へ問い合わせる蒸留過程を、CFGの存在を前提に再定式化し、既存手法の失敗要因を分析する。
StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents
著者: Yan Yang, Xiangru Jian, Ziyang Luo et al.
コンピュータ操作エージェントは通常、知覚の強化(スクリーンショットの読解とクリック位置の選択)で改善される。しかしスクリーンショットは、ファイル・アプリのバックエンド・DOMといった下層のプログラム状態の損失を伴う描画にすぎない(51 upvotes)。
新規性: ピクセルより先に下層のプログラム状態を活用することで、長期のコンピュータ操作エージェントを強化する視点を示した点が新しい。
手法: スクリーンショットのみに依存せず、ファイルやアプリ内部状態・DOMなどのプログラム状態を明示的に取り込み、長期タスクにわたる操作の一貫性を高める。
Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification
著者: Haopeng Li, Yitong Li, Junsong Chen et al.
拡散トランスフォーマは高品質な動画生成に不可欠だが、長いトークン列によりアテンションが推論の主要なボトルネックとなる(24 upvotes)。学習不要な動的スパースアテンションはこれを緩和するが、既存手法はスパース化に苦戦する。
新規性: 逐次的(オンザフライ)にアテンションを疎化する学習不要の手法で、動画生成推論を加速した点が新しい。
手法: 選択したキー・バリューブロックのみを計算する動的スパースアテンションを、生成の途中で逐次的に適用し、品質を保ちながら推論コストを削減する。
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
著者: Jun Zhan, Chen Yang, Yitian Gong et al.
近年の生成モデルは、無音動画や単独の音声合成を超え、同期した音声と映像の同時生成へと向かっている(21 upvotes)。だが両者の根本的な構造差により、細粒度のクロスモーダル対応を保った同時生成は難しい。
新規性: クロスモーダル整合を組み込み、同期した音声と映像を細粒度で同時生成できる音声動画VAEを提示した点が貢献である。
手法: 音声と映像を単一のVAE表現で扱い、クロスモーダルな整合機構を導入することで、両モダリティの細かな対応関係を保った同時生成を実現する。
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
著者: Tianyi Men, Zhuoran Jin, Kang Liu et al.
多ターン・長期の計画は基盤モデルエージェントに不可欠だが、その能力をどう根本的に高めるかは不明なままである。既存モデルは制御不能で不透明なインターネットデータで学習されており、計画能力がどう獲得・形成・統合されるかを特定しにくい(19 upvotes)。
新規性: 単一・複数教師によるオンポリシーのエージェント蒸留を通じて、事前学習から事後学習まで多ターン長期計画能力の獲得過程を扱った点が新しい。
手法: オンポリシーのエージェント蒸留を単一教師・複数教師の両設定で適用し、計画能力がどの段階で形成されるかを制御可能な形で追い、長期計画性能を高める。
Not All LLM Reasoning is Visible in the Chain-of-Thought
著者: Vatsal Baherwani, Tom Goldstein, Ashwinee Panda
言語モデルが自らの推論をすべて出力トークンに表しているかは、AI安全性の要となる問いである。本研究は、フロンティアモデルが意味的に無関係なフィラートークンを使って合成推論タスクの性能を上げる、具体的な失敗モードを示す。
新規性: 最大13ポイントの精度向上をもたらす「不可視推論」を実証し、Claude Opus 4.5がCoT監視に一切痕跡を残さず隠れた制約を満たせることを示した点が新しい。
手法: 13のフロンティアモデルを3タスクで評価し、フィラートークンによる利得を測定。RLやSFTでは持続的なフィラートークン利得が生じないことも示し、出力トークンに解釈可能な痕跡を残さない計算の存在を明らかにする。
分野別の動向
オープンフロンティアモデルと蒸留
オープンな大規模基盤と、その能力を移す蒸留が上位を占めた。Kimi K3(257 upvotes、本日最上位)は2.8T MoEに視覚と100万トークン文脈を統合したオープンフロンティアモデルを公開し、Multi-Agent Protocol Distillation(64 upvotes)はエージェント的検索の能力を独自モデルからオープンソースへ蒸留する。The Physics of Multi-Turn Long-Horizon Planning(19 upvotes)もオンポリシーのエージェント蒸留で長期計画能力を移植しており、「作って公開し、蒸留で広げる」流れが鮮明になっている。
長期タスクを担うエージェント
長い時間軸のタスクを回すエージェント設計も目立った。JarvisHub(102 upvotes)はキャンバスネイティブな多モーダル創作の長期ワークフローを束ね、StateAct(51 upvotes)はピクセルより下層のプログラム状態を活用して長期のコンピュータ操作を安定させる。ロボット分野ではProgress Reward Modeling(61 upvotes)が終端成功信号を超えた進捗報酬を体系化しており、長期・多段のタスクをどう評価し進めるかが共通の焦点になっている。
生成モデルの効率化とマルチモーダル
拡散・生成系の効率化と多モーダル統合も並んだ。Sol-Attn(24 upvotes)は逐次的なアテンション疎化で動画生成推論を学習不要に加速し、Rethinking CFG in On-Policy Diffusion Distillation(61 upvotes)はCFG下での拡散蒸留の挙動を再検討する。OmniVAE(21 upvotes)はクロスモーダル整合を備えた音声動画VAEで同期生成を実現しており、生成の速度と多モーダル整合の双方で基盤が磨かれている。
推論の可視性と安全性
推論プロセスの透明性を問う研究も現れた。Not All LLM Reasoning is Visible in the Chain-of-Thought は、フロンティアモデルがフィラートークンで最大13ポイント精度を上げ、CoT監視に痕跡を残さず隠れた制約を満たせることを実証した。CoTを監視すれば推論を追える、という前提の限界を突く結果で、アライメントと解釈可能性に一石を投じている。