事前学習視覚エンコーダのどの層を潜在空間にするかを正則化で解く FuseReg が115 upvotesで突出。prefill と decode を別物として量子化する Disaggregated Quantization、ブロック選択自体を対数線形化する Block Sparse Attention が続き、推論を一様な処理として扱わない設計が同じ日に並んだ。
注目論文
FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders
著者: Hongyang Du, Yunfei Xie, Junjie Ye et al.
表現オートエンコーダ（RAE）は、事前学習済み視覚エンコーダの特徴を再構成と拡散の潜在としてそのまま再利用し、強い視覚表現を画像生成へ持ち込む枠組みである（115 upvotes）。しかしRAEには、生成器とピクセル側デコーダが共有する潜在空間をエンコーダのどの層で作るのか、という未解決の設計判断が残っていると本研究は指摘する。
新規性: 「どの層を使うか」という離散的な選択問題を、層融合を正則化するという連続的な学習問題に置き換えた点が中核である。RAEの改良は、より強い事前学習エンコーダを持ってくるか、デコーダ側を厚くする形で進むのが通例である——だが再構成に適した層と生成に適した層は同じとは限らず、層を固定した時点でその齟齬（reconstruction-generation gap）が設計に焼き付いてしまう。融合を正則化する構成は、その齟齬を層選択の前段で吸収するためのものである。
手法: 事前学習視覚エンコーダの複数層を融合して共有潜在空間を構成し、その融合に正則化をかけることで再構成と生成の要求差を緩和する。
RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation
著者: Xiaochen Ma, Zimo Meng, Junzhu Liang et al.
基盤モデル向けの高品質な学習データ作成には、異種の文書や動画を構造化レコードへ変換するスケーラブルなパイプラインが要る（43 upvotes）。この種のパイプラインは各親要素を、入力依存かつ順序を持つ子要素の列へ展開し、その個数はロングテールに分布すると本研究は整理する。
新規性: データ前処理を、粒度の異なる処理段を系譜（lineage）で結んだ多粒度データフローとして明示的にプログラムできるようにした点が中核である。前処理基盤の改善は、分散実行エンジンのスループットを上げる形で進むのが通例である——だが1件の動画が何個のクリップに割れるかは実行してみるまで分からず、親と子の対応が追えないまま並列度だけ上げても、GPU工程と CPU 工程の粒度不一致が残る。系譜制御を言語側に持たせる構成は、その対応関係を実行系が利用できる形で保持するためのものである。
手法: 親要素から可変個の子要素への展開を伴う処理を多粒度データフローとして記述し、系譜を制御しながら実行する基盤を構成する。
Disaggregated Quantization: Specializing LLM Prefill and Decode
著者: Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi et al.
prefill と decode は量子化に対して異なる要求を持つ、というのが本研究の出発点である（42 upvotes）。低精度演算はプロンプト処理を高速化する一方、生成時に効くのは重みの小ささによるメモリトラフィックの削減であり、報われる方向が同じではない。
新規性: 量子化の設定をモデル単位ではなく推論フェーズ単位へ分解した点が中核である。LLMの量子化は、重みと活性のビット幅を決めてモデル全体に一律適用する形で進むのが通例である——だがその一律設定は、演算律速の prefill とメモリ帯域律速の decode のどちらにも最適化しきれない妥協点になる。演算形式・重み・格納場所をフェーズごとに割り当てる構成は、その妥協を解くためのものである。
手法: 計算フォーマット、重み、ストレージ配置を prefill と decode で分離して特殊化する「disaggregated quantization (DQ)」を提案する。
Rufus-Air: An Open LLM Post-Training Recipe
著者: Chia-Yuan Chang, Renyuan Cheng, Rui Feng et al.
Rufus-Air は GLM-4.5-Air-Base（106B-A12B）を対象とした、公開かつ再現可能なポストトレーニングのレシピである（21 upvotes）。SFT、Reasoning RL、Coding RL、Instruction-Following RL、General Agent、Coding Agent、Search Agent、RLHF という8段の直列パイプラインとして構成され、データ・報酬設計・インフラまで文書化されている。
新規性: 個々の手法ではなく、段の並び順を含む工程全体を公開対象とした点が中核である。ポストトレーニングの研究は、RLHF や特定のRLアルゴリズム単体の改善として発表されるのが通例である——だが実運用のモデルは複数の段を通っており、どの能力をどの順で入れるかが最終性能を左右する一方、その順序と各段のデータ構成は非公開のままであることが多い。8段のレシピとして丸ごと記述する構成は、その工程設計自体を追試可能にするためのものである。
手法: 106B-A12B のベースモデルに対し、SFTから RLHF まで8段を直列に適用し、各段のデータ・報酬設計・インフラを公開する。
Block Sparse Attention with Log-Linear Complexity
著者: Bohao Tang, Zhen Qin, Yuqi Pan et al.
長文脈へのスケーリングは自己注意の二次コストに阻まれており、ブロックスパースアテンションはその有力な代替とされる（20 upvotes）。しかし、保持するブロックをどう選ぶかがボトルネックとして残っていると本研究は指摘する。
新規性: 高速化の対象をアテンション計算からブロック選択の計算量そのものへ移した点が中核である。スパースアテンションの改良は、どのブロックを残すと精度が保たれるかという選択基準の側で進むのが通例である——だが従来のブロック選択はすべてのクエリ・ブロック対をスコアリングするため、注意計算を疎にしても選択段が二次のまま残り、長文脈では律速になる。選択を対数線形計算量に落とす構成は、疎化の利得を実際の計算量まで通すためのものである。
手法: 全クエリ・ブロック対のスコアリングを要さないブロック選択により、ブロックスパースアテンション全体を対数線形計算量で実行する。
ExplorationBench: Measuring AI Systems’ Exploration in Verifiable Alien Worlds
著者: Ming Zhang, Zhenghao Xiang, Peizhong Gao et al.
科学的発見は既知の問題が尽きたところから始まり、そこでAIシステムは仮説の枠付け、実験の設計、結果に基づく反復という探索を行う必要がある（19 upvotes）。だがこの能力の評価には二つの難しさがあると本研究は述べる。新しい仮説が本当に成り立つかをどう検証するか、そして探索の質をどう測るかである。
新規性: 検証可能な人工世界（alien worlds）を評価環境として構築し、正解が外部に存在しない探索を測定可能にした点が中核である。科学的能力の評価は、既知の論文や問題集から作られたベンチマークで進むのが通例である——だがそこでは答えが事前に存在するため、探索ではなく既知知識の再現を測ってしまい、事前学習に含まれている可能性も排除できない。人工世界を使う構成は、仮説の真偽を構成的に検証しつつ未知性を担保するためのものである。
手法: 検証可能な人工世界上で、仮説立案・実験設計・反復からなる探索行動を評価する枠組みを構築する。
InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
著者: Xingyu Miao, Zizun Li, Baole Fang et al.
世界行動モデル（World Action Model, WAM）は、汎用ロボット操作に向けて視覚ダイナミクスと行動生成を同時にモデル化する（17 upvotes）。中心的な課題は、視覚ダイナミクス・シーン意味・幾何・運動といった大規模事前学習モデル由来の事前知識を、ロボットの行動のための単一の枠組みへ統合することだと本研究は述べる。
新規性: 個別の事前学習モデルが持つ異種の事前知識を、統一フレームワークへの統合問題として扱い、2万時間超のオープンデータで実証した点が中核である。ロボット基盤モデルは、視覚言語モデルに行動ヘッドを足す形や、動画生成器を方策へ転用する形で進むのが通例である——だがどの経路を採っても、取り込めるのはその元モデルが持つ一種類の事前知識に偏る。複数種の事前知識を明示的に橋渡しする構成は、予測ダイナミクスと行動の間の断絶を埋めるためのものである。
手法: 大規模事前学習モデル由来の視覚ダイナミクス・意味・幾何・運動の事前知識を統合し、20K時間超の公開データで世界行動モデルを学習する。
Learning to Discover Interesting Mathematics
著者: Niket Patel, Ahmad Rammal, Amaury Hayat, Remi Munos, Julia Kempe
LLMは長年未解決だった問題を含む高度な数学の問題を解けるようになりつつあり、数学的知識を前例のない規模で拡張する道が開けていると本研究は述べる（13 upvotes）。しかし、LLMがより多くを予想し証明できるようになったとしても、それだけでは足りないと指摘する。
新規性: 学習の対象を定理の証明から「何が興味深い数学か」の判定へ移した点が中核である。LLMの数学研究は、既存のベンチマーク問題に対する正答率を上げる形で進むのが通例である——だが予想と証明が大量生産できるようになった途端、ボトルネックは正しさではなく選別に移り、真だが誰も関心を持たない命題をいくら積み上げても知識は前に進まない。興味深さの発見自体を学習問題に据える構成は、その選別を人手から外すためのものである。
手法: 大量に生成される予想・証明のうち何が興味深いかを判定・発見する能力を学習対象として定式化する。
Stealth Apart, Harm Together: Skill Cascading Attacks on Skill-Based Agent Systems
著者: Zihao Zhu, Siwei Lyu, Adel Bibi, Baoyuan Wu
スキルとは、自然言語の指示・実行可能スクリプト・参照リソースをまとめたモジュールで、エージェントが実行時に読み込んで能力を拡張するものである。スキルのエコシステムが開かれていることは第三者の能力を再利用可能にする一方、新たな攻撃面も開くと本研究は指摘する。
新規性: 攻撃の単位を個々のスキルから、複数スキルにまたがる相互作用へ移した点が中核である。スキルの安全性研究は、単体のスキルに悪意あるコードや指示が含まれていないかを検査する形で進むのが通例である——だが悪意ある目的を3つのスキルへ分散させれば、1つ目は服薬中止の記録を弱め、2つ目は関連する薬物相互作用の重大度を下げ、3つ目は低優先度になった警告を最終要約から落とす、というように各改変は単体では無害に見える。連鎖として定式化する構成は、その分散を検知の対象にするためのものである。
手法: 自動化された多エージェントのレッドチーム枠組み SkillCascade と、213件の検証済みテストケースからなる SkillCascade-Bench を構築し、OpenClaw・Claude Code・Codex 等で既存のスキル単位スキャナと実行時モニタを回避できることを示す。
Recursive Self-Improvement via On-Policy Distillation for Reasoning
著者: Shangjian Yin, Zehao Zhao, Kavosh Asadi et al.
オンポリシー自己蒸留（OPSD）では、正解を文脈に与えられた生徒モデルの凍結コピーが教師となり、外部教師なしで密なトークン単位の教師信号を得る。教師を凍結することは学習の安定に寄与するとされてきたが、それは訓練中に生徒が獲得した改善を教師が取り込めないことも意味すると本研究は論じる。
新規性: 安定性のために課されていた教師の凍結を外し、教師と生徒の共進化を設計の中心に据えた点が中核である。自己蒸留の改良は、教師側の特権情報の与え方や損失の設計で進むのが通例である——だが教師が初期状態のまま固定される限り、生徒がどれだけ伸びても教師信号の質は初期の生徒のそれに留まり、反復の利得が頭打ちになる。共進化させる構成は、各ラウンドの改善を次ラウンドの教師信号へ還流させるためのものである。
手法: 特権的教師を生徒と共進化させる Dynamic Co-Evolution (DCE) と、冗長化・自己批判の肥大を抑えるため検証済みの短い書き直しで学習する Self-Refined Concise Learning (SRCL) を併用する。Qwen3-8B で Average@12 65.97% に達し、OPSD を35.62ポイント上回りつつ、DCE 単独比で平均出力長を7.80%削減した。
分野別の動向
効率化：推論を一様な処理として扱わない
上位に推論効率の研究が集まった。Disaggregated Quantization（42 upvotes）は prefill と decode で報われる最適化が違うことを根拠に、演算形式・重み・配置をフェーズごとに分離する。Block Sparse Attention with Log-Linear Complexity（20 upvotes）は疎化そのものではなく、疎化のためのブロック選択が二次のまま残っている点を突く。Softmax Reparameterization for Output-Head Quantization（2 upvotes）は語彙が大きい小型モデルで出力ヘッドが推論コストの相当部分を占めることに着目し、量子化の前に機能的に等価な出力ヘッドへ置き換える。Depth-adaptive Inference of Looped Language Models（2 upvotes）は、ループ回数の異なるトークンが一様な forward pass を共有できないというループ型モデルの実装上の壁を連続深度バッチングで扱う。共通するのは、モデルを一つの均質な計算として扱う前提を降ろし、フェーズ・部位・トークンごとに要求が違うことを設計に持ち込む姿勢である。
潜在表現と設計指標：どの層をどれだけ使うか
FuseReg（115 upvotes）は、事前学習視覚エンコーダのどの層を共有潜在空間にするかという選択を、層融合の正則化として解く。Neural Spectral Capacity（8 upvotes）は、現代のTransformer設計と圧縮がどちらも予算下の容量配分に帰着するにもかかわらず、判断に使われる #Params と #FLOPs が深さ・幅・ヘッド構成といった構造の違いを捉えていないと指摘し、仕様のみから容量を測る指標を立てる。Not All Ranks Are Equal（1 upvote）は LoRA のマージで、既存手法が全層に同一のランク予算を仮定し、さらにタスク間で予算を等分する前提を置いている点を崩す。いずれも「一律に配る」既定を疑い、配分を明示的な設計変数に昇格させている。
データとポストトレーニング：工程の公開
RayOrch（43 upvotes）は基盤モデル向けデータ前処理を、親から可変個の子への展開を含む多粒度データフローとして扱い、系譜制御を言語側に持たせる。Rufus-Air（21 upvotes）は SFT から RLHF までの8段を、順序とデータ構成込みで公開する。MOPD-Router（2 upvotes）は多教師オンポリシー蒸留において、プロンプトをドメイン一致の教師へロールアウト全体にわたって固定的に振り分ける慣行が、ラベルなしデータの利用を妨げていると指摘する。Recursive Self-Improvement（本日の注目論文）が教師の凍結を外すのと合わせ、教師とデータの配分をいつ・どの粒度で決めるかが共通の争点になっている。
評価とエージェント安全性：単体の点数では見えないもの
ExplorationBench（19 upvotes）は、答えが事前に存在しない探索能力を検証可能な人工世界で測る。AgentWorld（6 upvotes）は既存のマルチエージェント評価が競争設定・20ステップ未満の短期・個人性能の集計に偏り、協調そのものを切り出せていないとして100件の長期タスクを用意し、Game Arena（4 upvotes）は静的ベンチマークに代えて対戦形式でモデル同士を戦わせる。安全性側では Skill Cascading Attacks が、スキル単位のスキャナが通す改変の組み合わせで有害な結果が生じることを213件で示し、ScopeBench（cs.AI）は、目的が範囲の逸脱によってしか達成できないタスクを置いて、攻撃能力ではなく「範囲を守るか」を測る。AgentKernel（7 upvotes）は、信頼できない入力・特権的指示・長期記憶・特権ツールが同一ループに同居する構造そのものを攻撃面と捉え、OS 側から分離しにいく。単体の正答率と、システムとして成立しているかの乖離を測る動きが評価と安全性の両側で並んだ。
強化学習とツール利用：報酬をどこへ割り当てるか
SLCA-GRPO（7 upvotes）は、ツール呼び出しと自然言語要約が混在するエージェント出力に対し、GRPO が軌跡全体へ一律の利得を配ってしまうクロスセグメントの信用誤配分を扱う。SAGE（6 upvotes）は疎報酬下の長期推論の脆さを、局所的にもっともらしいが構造的に不安定な枝へ引かれる探索バイアスとして定式化する。VLA-Precision（2 upvotes）は、事前学習済み Vision-Language-Action モデルを実世界オンラインRLで後訓練する際の効率を非対称な協調ブートストラップで詰める。報酬の総量ではなく、それを軌跡のどの部分へ帰属させるかが共通の焦点になっている。