同一系列モデル間のオンポリシー蒸留のスケーリング測定が181 upvotesで首位。音声固有情報の記憶ベンチマーク、多人数会話メモリ、コンテキストをファイルとして自己管理する言語モデルが続き、能力をどこに保持させるかが共通論点になった。
注目論文
Scaling Properties of Same-Family On-Policy Distillation
著者: Yuntai Bao, Qinfeng Li, Guoqing Jiang et al.
強化学習（RL）は大規模言語モデルに相当な推論能力を誘発しうるが、その能力がモデル規模をまたいでどれだけ転移するのか、どの速さで転移するのかは明らかでない（181 upvotes）。本研究はオンポリシー蒸留（OPD）のスケーリング特性を、弱→強、同規模といった複数の設定で測定する。
新規性: 蒸留手法の優劣ではなく、能力転移そのものを規模の関数として測った点が中核である。オンポリシー蒸留の研究は、特定の教師と生徒の組で最終スコアを比べる形で進むのが通例である——だが1組の比較では、転移量が規模差に依るのか手法に依るのかを切り分けられず、教師をどこまで大きくすべきかの判断材料にならない。スケーリング特性として測る構成は、その判断を外挿可能な形で与えるためのものである。
手法: weak-to-strong・same-size を含む複数の教師生徒構成でオンポリシー蒸留を実施し、転移量と転移速度の規模依存性を測定する。
Omni-IO Skills: Harnessing Your Agent Omni-Native
著者: Yanlin Li, Mingyang Hao, Shengqiong Wu et al.
汎用エージェントは長期の計画・推論・行動をこなせるようになったが、その生成能力はテキスト・画像・音声・動画・文書・3Dアセット・コードへと分断されたままである（156 upvotes）。基盤モデルを追加モダリティへ拡張する経路は、能力の伸びをコストのかかるモデル更新に縛りつけてしまうと本研究は指摘する。
新規性: モダリティ拡張をモデル側の学習ではなく、エージェントが呼び出すスキルの側に置いた点が中核である。マルチモーダル化は、新しい入出力を扱えるよう基盤モデルを再学習する形で進むのが通例である——だがその経路では、モダリティを1つ増やすたびに全体の更新が必要になり、能力追加の単位が大きすぎる。omni-native なスキル構成は、その単位を分解して更新なしに入出力を足すためのものである。
手法: 多様なモダリティの生成能力をスキルとして外部化し、エージェントがそれらを omni-native に取り扱う構成をとる。
VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models
著者: Yang Xiao, Vidhyasaharan Sethu, Eun-Jung Holden et al.
音声対話システムは過去のやり取りから情報を取り出す必要があるが、音声中の関連情報は「何を言ったか」に留まらない（125 upvotes）。誰が言ったか、どのように話されたか、何が聞こえていたか——これらは音声信号にのみ存在し、文字起こしからは復元できない情報であると本研究は述べる。
新規性: 記憶の評価対象を発話内容から音声固有の属性へ広げた点が中核である。対話メモリのベンチマークは、文字起こしを前提に内容の想起精度を測る形で進むのが通例である——だが転写を経た時点で話者性・韻律・背景音は落ちており、音声モデルが本当に音を記憶しているのかは測る対象にならない。音声由来の情報に焦点を置く構成は、その欠落を評価軸に載せるためのものである。
手法: 大規模音声言語モデル向けに、文字起こしでは復元不能な音声固有情報の記憶を測るベンチマークを構築する。
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
著者: Xingyu Zhu, Pu Yi, Ziheng Cheng et al.
チャンク単位のKVキャッシュ圧縮は、連続するトークン列を固定ストライドでより少ないキャッシュエントリへまとめ、長文脈推論のメモリとアテンションのコストを下げる（86 upvotes）。本研究は、この圧縮が新たな位置座標——トークンの「位相」、すなわち圧縮境界に対する相対位置——を持ち込むことを指摘する。
新規性: 圧縮の損失を平均的な精度低下ではなく、位相に依存する周期的な弱点として捉えた点が中核である。KVキャッシュ圧縮の評価は、圧縮率と全体スコアのトレードオフを見る形で進むのが通例である——だが平均値は、境界のどこに落ちたトークンが失われやすいかという内部構造を隠してしまう。位相という座標を導入する構成は、その周期的な劣化点を測る言葉を与えるためのものである。
手法: 固定ストライドのチャンク圧縮において、トークンの圧縮境界に対する相対位置を位相として定義し、位相ごとの感度を分析する。
Follow the Entities: A Corpus Map for Agentic Search
著者: Soyeong Jeong, Sujay Kumar Jauhar, Sung Ju Hwang et al.
大規模な文書集合に対する質問応答やタスク遂行では、複数文書に散在する証拠を繋ぐ必要がある——あるプロジェクトの承認が1つの文書に、要件が別の文書に、最新状況がさらに別の文書に記録されている、といった状況である（67 upvotes）。近年のLLMエージェントはこれを反復検索で扱うが、本研究は別の道をとる。
新規性: 探索の足場を検索クエリの連鎖ではなく、コーパス側に敷いたエンティティの地図に置いた点が中核である。エージェント検索の改良は、クエリを言い換えて検索を繰り返す反復回数や停止判断を洗練する形で進むのが通例である——だが反復検索は各ステップの検索結果に依存するため、どの文書へ辿るべきかの見通しが最後まで立たない。コーパス地図を持つ構成は、その見通しを検索の外側に用意するためのものである。
手法: 文書集合を横断するエンティティの関係をコーパス地図として構築し、エージェントがその上を辿って証拠を接続する。
Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations
著者: Wenxu Jia, Xize Cheng, Zihan Zhang et al.
長期記憶はエージェントが情報を蓄積しセッションをまたいで推論することを可能にするが、既存研究は二者間のテキストまたは画像＋テキスト対話に集中しており、多人数の音声会話における長期記憶は手薄であると本研究は述べる（62 upvotes）。この設定では会話文脈の保持に加えて、相互作用の構造を扱う必要がある。
新規性: 記憶の単位を発話列から、多人数間の相互作用を含む構造へ拡張した点が中核である。長期記憶の研究は、二者対話の履歴を要約・検索する形で進むのが通例である——だが参加者が増えると、誰の発言が誰への応答なのかという関係が意味を担い始め、発話を平坦に並べた履歴からは復元できない。相互作用認識のマルチモーダル記憶は、その関係を記憶の側に残すためのものである。
手法: 多人数音声会話向けに相互作用を認識するマルチモーダル記憶を構成し、適応的なエージェント検索と組み合わせる。
LLMs are General Asynchronous Agents
著者: George Yakushev, Denis Mazur, Vladimir Bartenev et al.
現代のLLMは自律エージェントとしての能力を高めているが、その相互作用は逐次的なサイクルに従う——読む、考える、応答するかツールを呼ぶ、繰り返す（59 upvotes）。だが音声アシスタント、身体性エージェント、監視システムといった多くの実用場面は逐次的でなく、思考中や行動中にも新しい入力が到着すると本研究は指摘する。
新規性: 非同期性をシステム側の実装課題ではなく、LLM自身が扱う相互作用の形式として据え直した点が中核である。エージェントの改良は、1ターンの推論や計画の質を上げる形で進むのが通例である——だが読む→考える→応答のサイクルを前提とする限り、思考中に届いた入力は次のターンまで待たされ、割り込みへの応答性そのものが設計対象から外れる。非同期エージェントとして扱う構成は、その応答性をモデルの振る舞いとして取り込むためのものである。
手法: 思考や行動の最中にも新規入力を受け付ける非同期の相互作用形式を定め、その上でLLMをエージェントとして動作させる。
LongCat-DeepResearch Technical Report
著者: Meituan LongCat Team, He Zhu, Yue Xu et al.
拡張された LongCat モデルとマルチエージェントのワークフローを組み合わせ、証拠に基づく包括的なレポートを生成する深掘り調査システムである（52 upvotes）。ワークフローは大域的な計画と詳細な調査を分離し、セクション単位で改訂を調整する。
新規性: 改訂の粒度をレポート全体からセクション単位へ落とし、計画を担うエージェント群と調査を担うエージェント群を分離した点が中核である。深掘り調査システムの改良は、計画の質を上げたうえで最終レポートを反復的に書き直す形で進むのが通例である——だが全体書き直しは繰り返すほど費用が積み上がり、どの部分が改善されたのかも追いにくい。大域レビューが局所改訂を導く構成は、その反復を局所化するためのものである。
手法: 複数の計画エージェントが外部ソースを探索して調査計画（ResearchSpec）を精緻化し、調査エージェントが担当セクションを並列に執筆した後、大域レビューが的を絞った局所改訂を導く。DeepResearchBench 55.25、DeepResearchBench II 51.35、ResearchRubrics 79.83 を記録し、社内ベンチマークでは76.04で比較4システム中2位となった。
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
著者: Hongcheng Gao, Hailong Qu, Yu Lei et al.
自律エージェントは汎用的なコンピュータ操作で急速に進歩したが、専門的な産業エンジニアリングの信頼できる自動化は依然として手が届かない（49 upvotes）。エンジニアリングのワークフローは幾何的・物理的な制約に対する推論と、ソフトウェアや設計状態をまたいで保たれる依存関係を要求すると本研究は述べる。
新規性: 評価環境を汎用のコンピュータ操作から、制約と状態依存を伴う専門工学のワークフローへ移した点が中核である。エージェントベンチマークは、ウェブ操作やコード作成といった一般的な作業の難度を上げる形で進むのが通例である——だがそれらの環境には物理的な整合性という失敗条件がなく、設計が成り立つかどうかを問う能力は測る対象にならない。専門工学環境を組む構成は、その整合性を評価軸に載せるためのものである。
手法: 幾何・物理制約とソフトウェア横断の設計状態依存を含む専門エンジニアリング環境を構築し、フロンティアエージェントの実務遂行能力を評価する。
Context Language Models
著者: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin et al.
自分自身のコンテキストをネイティブに管理する言語モデル（CLM）を提案する（23 upvotes）。コンテキストを1つのファイルとして扱い、モデルがそのファイルに対して無制限の更新を行えるようにすることで実装される。
新規性: 文脈管理を推論時の外部機構ではなく、モデルが学習する対象そのものに据えた点が中核である。長文脈への対処は、要約・検索・スライディングウィンドウといった外部の仕組みでコンテキストを整える形で進むのが通例である——だが何を残すかの判断が外側に固定されていると、モデルは自分にとって重要な情報を選ぶ余地を持たない。コンテキストを可変ファイルとして開放する構成は、その選択をモデルに学習させるためのものである。
手法: コンテキストをファイルとして表現し、モデルによる無制限の書き換えを許すことで、何を文脈に保持すべきかを学習させる。
分野別の動向
蒸留とポストトレーニング：転移の量を測りにいく
前日の上位を占めた蒸留の議論は、本日は転移そのものの測定へ移った。Scaling Properties of Same-Family On-Policy Distillation（181 upvotes）はRLで得た推論能力が規模間でどれだけ・どの速さで転移するかを測り、PMOPD（4 upvotes）は多教師オンポリシー蒸留にタスク順序・巡回・パラメータ更新部分空間の保護を持ち込む。Understanding On-Policy Distillation（6 upvotes）は sparse crosscoder を用いてOPDが生徒の内部表現に実際に何を蒸留しているのかを機構解釈の側から調べる。AnyStep-WAM（3 upvotes）は世界行動モデルの denoising ステップ数を予算整合的に蒸留する。手法の優劣を競う段から、蒸留が何をどれだけ移しているのかを測る段へ関心が移っている。
エージェント：相互作用の形式と、組織という単位
LLMs are General Asynchronous Agents（59 upvotes）は読む→考える→応答という逐次サイクル自体を外す。Org-Agent（3 upvotes）は複数利用者の要求を調整し、やり取りに分散した知識を使う組織向けエージェントとして、利用者横断の相互作用・意思決定と利用者横断の記憶・知識という2つの能力を切り出す。Asking for What Was Never Requested（27 upvotes）は、能動的エージェントの研究が「いつ自発的に動くか」に集中してきたのに対し、どの情報を追うべきかという別の問いを立てる。Can Agents Design Libraries for Agents?（8 upvotes）は、エージェントが他のエージェントのコードを再利用せず再実装することでコードベースが膨らむ現象を LibraryDesignBench で測る。個々のタスク遂行能力より、エージェント同士・利用者同士の関係が設計対象になりつつある。
メモリ：どの情報を、どの形式で残すか
VoxMem（125 upvotes）は文字起こしで落ちる音声固有情報を、Beyond Dyadic Memory（62 upvotes）は多人数会話の相互作用構造を、それぞれ記憶の対象に加える。APM-Bench（29 upvotes）は一人称視点のストリーミング動画アシスタント向けに、断続的なやり取りをまたぐ永続記憶を測る。EpiCon（5 upvotes）は host モデルのパラメータを更新せずに、異なるエージェント間で経験を再利用する共有マルチモーダル記憶を構成する。Context Language Models（23 upvotes）はそれらを一段抽象化し、何を残すかの判断自体をモデルへ渡す。arXiv cs.AI の Memory Is a Derivation は長期エージェントにおける証拠分散のパラドックスを扱い、MATE（cs.CL）は検索した軌跡を実行向けの記憶へ決定論的に変換して ALFWorld でトークン量を約1/10に抑える。
効率化と長文脈：削った先の内部構造
Periodic Weak Spots（86 upvotes）はチャンクKV圧縮が生む位相依存の周期的な弱点を示す。FocusVTC（20 upvotes）はテキストを画像として描画して入力長を縮める visual text compression の、固定解像度がもたらす圧縮と性能のトレードオフに適応解像度で対処する。Fractional State Space Transition（8 upvotes）は、ODEベースの動力学に依る現代SSMが指数的な忘却に陥る点を分数階の状態遷移で緩める。Routing Should Pay for Itself（10 upvotes）はLLMルーティングの学習が候補モデルを履歴クエリ上で実行する高コストを要する点を疎な教師で回避し、cs.AI の SMat-Attention は因果マスクのVC次元を可変にして softmax 注意と線形注意の中間を作る。cs.CL の EDAR は最初の数トークンの予測エントロピーでRAGと長文脈処理を切り替え、精度97.4%維持でトークン支出を70.7%削減すると報告する。
評価とアライメント：スコアの成立条件を疑う
cs.CL の Alignment Forecasting は、狭い欠陥を持つデータでの学習が広範な misalignment を生むかを学習前に予測する課題を立て、ALIGNMENTFORECASTBENCH（17モデル・32データセット・16失敗モード）を用意する。How to Run Statistics over LLM Judges（同）は、生のLLM審査スコアに統計を回すと偽陽性が膨らみ、しかも人間との一致が「ほぼ完全」な領域でその危険が最大化するという反直観的な結果を示す。Binarization Flattens the Score Space（cs.LG）は審査を pass/fail に潰すと尺度の伸縮が不可視になることを示し、3段階以上の保持を勧める。Beyond Symmetric Agents（cs.AI）は多エージェント討論の利得が認知的多様性に由来するという仮説を3軸すべてで棄却し、予算を揃えると自己整合サンプリングに並ぶか劣ると報告する。Replication Failure and Trivial Baselines（cs.LG）は道路単位の事故予測で11の設計判断のうち7つが再現せず、うち4つは符号が反転すると示す。いずれも、報告された数値ではなくその数値が成立する条件を測りにいく系譜である。