ポストトレーニングの影響がタスク無関係なテキスト経由で別の判断にまで漏れることを示した論文が249 upvotesで突出。多教師オンポリシー蒸留、コードエージェントRLの報酬再配分、視覚エンコーダ廃止のスケーリング則が続き、教師信号をどこから取るかが同じ日の共通論点になった。
注目論文
Post-Training Leaves Behavioral Shadows on Unrelated Decisions
著者: Ziyang Zhang, Yubin Jing, Yuanhao Zeng et al.
言語モデルがタスクと無関係なテキストを介して能力を伝達しうることを示した研究である（249 upvotes）。ポストトレーニングは通常タスク固有のデータでモデルを改善するが、その更新の痕跡が無関係な生成物の中に残り、さらに無関係な意思決定の側にも影響として現れると本研究は報告する。
新規性: 観測の対象を「更新した能力が伸びたか」から「更新が無関係な判断へどう漏れたか」へ移した点が中核である。ポストトレーニングの評価は、狙ったタスクのスコアと、せいぜい一般能力の劣化（忘却）を見る形で進むのが通例である——だが伝達が無関係な生成物の経路で起きるなら、対象タスクでも一般ベンチマークでもない第三の場所に変化が残り、どちらの指標にも表れない。無関係な意思決定を測る構成は、その死角を可視化するためのものである。
手法: 無関係な生成物を介した情報伝達（subliminal learning）に関する先行研究を、無関係な意思決定への影響という軸へ拡張して測定する。
Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
著者: Xin Li, Hao Jiang, Xin Gao et al.
強化学習は1つの言語モデルを数学・コード・指示追従といった単一技能の専門家群へ分化させられるが、利用者が欲しいのはそれら全てを備えた1つのモデルである（138 upvotes）。多教師オンポリシー蒸留（MOPD）は専門家を教師として統合する枠組みだが、既存手法は教師をどう割り当てるかの前提を詰めきれていないと本研究は指摘する。
新規性: 教師の割り当て（どのプロンプトをどの専門家に任せるか）ではなく、ドメイン間で蒸留信号の尺度を正規化する点に問題を置き直したのが中核である。多教師蒸留の改良は、プロンプトをドメイン一致の教師へ振り分ける精度を上げる形で進むのが通例である——だが割り当てが正しくても、ドメインごとに教師信号の大きさが揃っていなければ、統合後のモデルは損失の大きいドメインに引きずられる。ドメイン正規化を挟む構成は、その不均衡を割り当てとは別の問題として扱うためのものである。
手法: 複数の専門家教師によるオンポリシー蒸留において、ドメイン単位で正規化した教師信号を用いて単一の汎用モデルへ統合する。
VisionHOPE: Visual Backbones as Self-Modifying Learning Systems
著者: Siran Peng, Tianshuo Zhang, Tianyu Fu et al.
視覚バックボーンは、局所集約のCNNから大域的相互作用のViT、入力依存の状態遷移を持つSSM、そして処理中に内部学習器を適応させるTest-Time Training（TTT）層へと発展してきた（106 upvotes）。本研究はこの系譜を、自己改変する学習システムという一つの見方で捉え直す。
新規性: アーキテクチャの世代交代を、性能比較ではなく「モデルが自分自身をどこまで書き換えるか」の度合いとして整列させた点が中核である。視覚バックボーンの研究は、新しい演算子を提案して既存系列に置き換える形で進むのが通例である——だがCNN・ViT・SSM・TTTを個別の設計選択として並べる限り、入力に応じた内部状態の更新という共通軸が見えず、次に何を強めるべきかの指針が立たない。自己改変システムとして定式化する構成は、その軸を設計変数として取り出すためのものである。
手法: 局所集約・大域相互作用・入力依存の状態遷移・テスト時適応を連続した系譜として整理し、自己改変性を軸に視覚バックボーンを構成する。
Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL
著者: Jinhao Dong, Liang Zhao, Zihao Yue et al.
コードエージェントの強化学習では、実行可能なテストの通過を二値報酬として使うのが一般的である（69 upvotes）。この報酬のもとで Group Relative Policy Optimization (GRPO) は、ロールアウト群の中でテストを通した軌跡すべてに同一のアドバンテージを与えてしまい、実装品質の差を見落とすと本研究は指摘する。
新規性: 報酬設計ではなくアドバンテージの配分側に手を入れ、同点の軌跡を群単位の採点で再分解した点が中核である。コードRLの改良は、テストを増やすか報酬を細分化する形で進むのが通例である——だがテストが通ったか否かという判定粒度を保ったまま報酬を足しても、GRPO が群内で相対化する段階で品質差は消える。群単位のエージェント採点とアドバンテージ再配分を組む構成は、その消失を配分の段で取り戻すためのものである。
手法: ロールアウト群を横断してエージェントに採点させ、その結果に基づき通過軌跡間のアドバンテージを再配分する。
How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining
著者: Lin Chen, Bolin Ni, Qi Yang et al.
現代のマルチモーダル大規模言語モデル（MLLM）はほとんどが事前学習済み視覚エンコーダの上に構築され、そこから強い視覚的事前知識を得ている（54 upvotes）。エンコーダを持たないMLLMは生のピクセルから直接表現を学ぶ簡潔で統一的な構成だが、そのスケーリング挙動は体系的に調べられていないと本研究は述べる。
新規性: エンコーダ廃止の可否を単発の精度比較ではなくスケーリング則として測った点が中核である。エンコーダフリーの研究は、特定のモデル規模で既存MLLMに追いつけるかを示す形で進むのが通例である——だが事前知識の欠落は規模を増やすほど埋まる種類の差であり、一点の比較では「今は劣る」のか「原理的に劣る」のかを区別できない。スケーリング則を取る構成は、その区別を外挿可能な形で与えるためのものである。
手法: エンコーダフリーのマルチモーダル事前学習について、規模を振ってスケーリング挙動を体系的に測定する。
Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
著者: Yijia Fan, Ziqi Huang, Zhongang Cai et al.
統合マルチモーダルモデルは画像を見ることと描くことの両方ができるため、原理上は自分の生成物を自ら修復できる——何が間違っているか診断し、直し、結果を見て再び診断する（35 upvotes）。だが修正が改善になったかは描画してみるまで分からず、反省のテキストと画像が交互に依存し合う点が難しいと本研究は述べる。
新規性: 反省をプロンプト上の手順ではなく、テキストと画像を交互に含む軌跡に対するRLの学習対象に据えた点が中核である。マルチモーダルの自己修正は、外部の評価器や人手のフィードバックを回して修正を促す形で進むのが通例である——だが修正の良否が描画後にしか判明しない構造では、テキスト側だけを報酬づけても次の描画に効く反省が身につかない。インターリーブRLの構成は、診断と描画を1本の系列として一緒に最適化するためのものである。
手法: 反省テキストと画像生成を交互に配した軌跡上で強化学習を行い、統合モデルに自己診断と再生成の能力を学習させる。
Recursive Harness Distillation across Agents for Robot Manipulation
著者: Seungyeon Kim, Junhoo Lee, Minkyu Kim et al.
視覚言語行動（VLA）モデルは幅広い操作能力を与えるが、実行中に失敗を診断して振る舞いを変える必要がある場面では苦戦する（29 upvotes）。一方で強いエージェントは有効な介入を発見できる、というのが本研究の出発点である。
新規性: 蒸留の対象をデモンストレーションではなく、強いエージェントが行った介入（harness）に置き、それを再帰的に繰り返す点が中核である。ロボット方策の改良は、成功軌跡を集めて模倣学習するか、環境で試行してRLする形で進むのが通例である——だが成功軌跡には失敗からの復帰が含まれず、失敗診断の能力だけが学習対象から漏れる。介入を再帰的に蒸留する構成は、その復帰の手順自体を方策へ移すためのものである。
手法: 強いエージェントによる介入をエージェント間で再帰的に蒸留し、VLAモデルの失敗診断と適応を改善する。
QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents
著者: Weiqi Wang, Yuxin Zhou, Mouxiang Chen et al.
LLMエージェントは超長期（xlong）horizonのタスクを担うようになり、1回の実行が数時間、数百回のモデル・環境相互作用、1ロールアウトあたり約100万トークンに及ぶ（25 upvotes）。この規模の実行にオンライン強化学習を適用するには、二つの根本的な困難があると本研究は述べる。
新規性: RLアルゴリズムではなく、ロールアウト長が桁違いに揺らぐ状況での実行基盤の弾性を設計対象にした点が中核である。エージェントRLの改良は、報酬設計やアドバンテージ推定といった学習側で進むのが通例である——だが1ロールアウトが1Mトークン・数百ステップに達すると、ロールアウトごとの所要時間と資源消費の分散自体が学習を止める要因になり、アルゴリズムの優劣より先に実行可能性が問題になる。弾性フレームワークの構成は、その分散を吸収して超長期タスクでオンラインRLを回すためのものである。
手法: 超長期horizonエージェントのオンラインRLに向けて、ロールアウトの規模変動に適応する弾性的な学習フレームワークを構成する。
Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
著者: Ilya Koziev, Ivan Oseledets
高速行列積のアルゴリズムは、積そのものは固定したまま、それをより安価に評価する方法を探す（17 upvotes）。本研究はその前提を反転させ、Transformerの学習済み射影がそもそも別の、より安価な積を使えるのではないかと問う。
新規性: 高速化の対象を「積の計算手順」から「積の定義」そのものへ移した点が中核である。Transformerの計算削減は、疎化・量子化・低ランク近似のように、通常の行列積を近似する形で進むのが通例である——だがどの手法も積の定義を所与とするため、削減できるのは近似誤差が許す範囲に限られる。結合代数に基づく積へ置き換える構成は、パラメータ数を保ったまま積の代数構造そのものを設計変数にするためのものである。
手法: 通常の行列積を置き換える結合代数の構成に基づき、Transformerの射影層をより安価な積で評価する層として再構成する。
WideSWE: Can Coding Agents Coordinate Changes Across Repositories?
著者: Baoyi Wang, Xingliang Wang, Jinyang Wu et al.
コーディングエージェントの評価は、個別のissue解決から長期の開発遂行へと進んできたが、タスクの達成判定はいまだ単一のコードベース内で行われている（16 upvotes）。実際のソフトウェアエコシステムでは、多くの機能追加やバグ修正が複数リポジトリにまたがる協調的な変更を要すると本研究は指摘する。
新規性: 評価の境界を1リポジトリから複数リポジトリの協調へ広げた点が中核である。コーディングエージェントのベンチマークは、タスクの長さや難度を上げる方向で進むのが通例である——だが単一リポジトリ内に閉じている限り、ライブラリと利用側を同時に変える、変更順序を守るといった能力は測る対象にならない。横断的なベンチマークを組む構成は、その協調そのものを評価軸に載せるためのものである。
手法: 複数リポジトリにまたがる協調変更を要するタスク群としてベンチマークを構築し、コーディングエージェントを評価する。
分野別の動向
蒸留とポストトレーニング：教師信号をどこから取るか
本日の上位は蒸留関連で埋まった。Beyond Teacher Assignment（138 upvotes）は多教師オンポリシー蒸留で割り当てよりドメイン間の尺度差を問題に据え、Recursive Harness Distillation（29 upvotes）は強いエージェントの介入を蒸留対象にする。Can We Trust the Teacher?（2 upvotes）は軌跡単位の信頼できるクレジット（RLVR）とトークン単位の密な教師（OPSD）を同時に使うと、ステップごとのクレジットの方向と大きさが結合してしまう点を指摘する。An RL View of OPD（10 upvotes）はオンポリシー蒸留の reverse-KL 目的をKL正則化つき方策最適化と接続し、SCOPD（2 upvotes）は視覚トークンの枝刈りをオンポリシー自己蒸留で補う。前日のRecursive Self-Improvement（教師の凍結を外す）と合わせ、「誰を教師とし、その信号をどの粒度・どの尺度で与えるか」が連続した争点になっている。
安全性：更新の副作用と、防御の耐久性
Post-Training Leaves Behavioral Shadows（249 upvotes）は、ポストトレーニングの影響が無関係な生成物を経て無関係な意思決定にまで残ることを示す。Distillation Defenses Easily Break After Reinforcement Learning（1 upvote）は、閉じたモデルの推論能力を複製する蒸留攻撃への防御が強化学習の後で容易に破れると報告する。Imprint Reader（11 upvotes）は学習が重みに残す痕跡を読み出し、そこから行動への介入へつなぐ。When Do Model Internals Help?（4 upvotes）は、出力を最適化するアライメントやテキスト監視といった行動レベルの防御に対し、内部表現を使う representation engineering がどこで効くのかを整理する。いずれも、モデルの外側に出た振る舞いだけを見る防御の限界を指している。
評価：ベンチマークの境界を動かす
WideSWE（16 upvotes）は単一リポジトリという評価の境界を外す。ScopeBench（arXiv cs.AI）は攻撃的セキュリティのエージェントで、目的が範囲違反なしには達成できないタスクを組み、能力ではなく範囲遵守を測る——生の能力が12.2〜81.1%、範囲遵守が34.4〜86.7%と、両者が独立に散らばることを示す。HARDEN（同）は既存の評価ケースの入力だけを進化的探索で難化させ、期待出力を固定したまま平均22.7%の精度低下を引き出す。How Reproducible Are Evaluation Conclusions?（1 upvote）は少数プロンプトの平均から作られたランキング表にどれだけ信を置けるかを自己監査する。When Is a Multi-Agent Code Judge Actually Grounded?（同）は、公開枠組みが比較の78〜95%で「両方同等」と宣言し精度4.4%に落ちる事例を示し、判定を降りる（declineする）機構をラベルなしで作る。共通するのは、スコアそのものより、そのスコアが成立する条件を測ろうとする姿勢である。
効率化：どこを削ると何が壊れるか
G^2PTQ（2 upvotes）はGPTQ系の訓練後量子化に一般化勾配補償を入れ、層単位の局所目的が抱える限界に対処する。Pruned CTC（2 upvotes）はフレーム×語彙の活性を丸ごと materialize する従来実装が、LLM規模の語彙ではメモリを使い切る点を突く。In-Flight KV Cache with Clean Anchors（20 upvotes）は自己回帰動画拡散で、生成済みチャンクをKVとして再構成する既存手法の負荷を下げる。Structured Residual Connectivity（15 upvotes）は、U-Net系の手作りスキップ接続に対しDiTが一様な残差ストリームを使う点を設計の空白として扱う。Change the Product（17 upvotes）が積の定義まで遡るのと合わせ、近似の精度を上げる方向と、削る対象の粒度を変える方向の両方が並んだ。
エージェント基盤：長期実行を支える側
QwenGyre（25 upvotes）は1ロールアウト約1Mトークンの超長期タスクにオンラインRLを適用する弾性フレームワークを示し、Nereus（9 upvotes）はポストトレーニング中に資源・系列長・メモリ圧・段のボトルネックが変動することを前提に並列化を適応させる。Relic（5 upvotes）は、コーディングエージェントがインタフェースを変えた一方で別のエージェントが旧版の上で開発を続けるといった組織内の衝突を扱い、会話で解けたはずの合意が参加者の交代で失われる点を問題にする。学習アルゴリズムよりも、長時間・多主体の実行を成立させる基盤側の記述が増えている。