異なるトークナイザー間のオンポリシー蒸留を見直す研究が153 upvotesで突出し、難易度ゲート型の蒸留も並んだ。FP4ロールアウトや兆パラメータ規模の重み同期など、RL後学習を支える基盤の研究と、エージェントがどこで失敗するかを問う評価研究も目立った。
注目論文
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
著者: Bingxi Hou, Guochao Jiang, Guofeng Quan et al.
オンポリシー蒸留（OPD）は、生徒モデルが自分で生成した系列に対して教師のフィードバックを与えて学習させる手法である（153 upvotes、本日最多）。教師と生徒でトークナイザーが異なる場合、両者の予測を比べるには系列レベルと語彙レベルの両方で対応付け（アライメント）が必要になる。本研究は、このアライメントの範囲を広げれば学習が改善するのかを検証する。
新規性: タイトルが示すとおり、異トークナイザー OPD の論点を「どれだけ広く対応付けられるか」から「対応付けた教師信号がどれだけ信頼できるか」へ移した点が中核である。対応付けの範囲を広げても、信頼性の低い教師信号が増えれば学習の助けにならない、という見方を示す。
手法: 系列・語彙の両レベルでアライメントの範囲を変えながら OPD を行い、範囲の広さと教師信号の信頼性が学習に与える影響を比較する（詳細は本文を参照）。
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
著者: Xin Wang, Hao Yu, Zhengyang Zhuge et al.
LLM の RL 後学習では、ロールアウト生成の計算量とメモリが大きな負担になる（70 upvotes）。そのためロールアウトを低精度で行う研究が進んでいるが、既存の FP4 RL 手法には限界があると本研究は指摘する。TRACE は、MoE 言語モデルの FP4 RL を対象に、ロールアウトに導かれた量子化対応学習（QAT）を提案する。
新規性: 量子化の扱いを、RL で実際に生成されるロールアウトに合わせて調整する点が中核である。FP4 のような低精度では、ロールアウトを生成する低精度モデルと、学習で更新される高精度モデルの振る舞いがずれやすい。タイトルの「Rollout-Guided」は、このずれをロールアウト側の情報を手がかりに抑える方針を示している。
手法: MoE 言語モデルの RL で、FP4 ロールアウトに合わせた量子化対応学習を組み込む（詳細は本文を参照）。
CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
著者: Hang He, Li Wang, Hao Chen et al.
静的解析のチェッカーを作るには、欠陥の仕様を読み解き、リポジトリを調べ、解析器固有のロジックを実装し、コンパイルと解析のフィードバックを受けて何度も修正する必要がある（52 upvotes）。本研究は、長期タスクをこなすエージェントがこの作業をやり遂げられるかを測るベンチマーク CheckerBench を提案する。
新規性: コーディングエージェントの評価対象を、パッチ生成や脆弱性検出から「解析ツールそのものを作る」作業へ広げた点が中核である。既存のベンチマークはパッチ生成などに焦点を当てており、仕様の解釈から反復的な改良までを含む長い作業は十分に測られていない。
手法: 欠陥仕様とリポジトリを与え、エージェントにチェッカーを実装させ、コンパイル・解析のフィードバックを通じた反復改良を含めて評価する。
From Evidence to Action: How Tool-Using Agents Fail
著者: Hongzhan Lin, Shidong Cao, Ziyang Luo et al.
ツールを使うエージェントは外部の状態に影響する変更を行う（34 upvotes）。しかし結果が正しくても、その行動が事前に確かめた証拠に基づいていたとは限らない。本研究は、この「証拠から行動へ」の連鎖がどこで切れるのかを調べる。
新規性: エージェントを結果の正否ではなく、行動が証拠に裏付けられていたかという過程で評価する点が中核である。たまたま正しい結果に至った行動と、根拠を確かめたうえでの行動は、結果だけでは区別できない。
手法: 「行動すべきかの判断」から「単一の行動の実行」、さらにその先へと段階を進めながら、各段階で証拠と行動の対応がどこで崩れるかを分析する。
HuatuoGPT-3: RL-Only Domain Adaptation from Base Models
著者: Junying Chen, Xinyuan Xie, Ziniu Li et al.
汎用 LLM を特定分野の専門家に仕立てるドメイン適応では、SFT の後に RL を行う流れが主流である（21 upvotes）。SFT は手軽なコールドスタートになる一方、探索の多様性を下げ、多段の最適化で手順を複雑にするおそれがある。HuatuoGPT-3 は、ベースモデルから RL だけで医療分野への適応を行う。
新規性: ドメイン適応から SFT の段階を外し、RL のみで専門化させる点が中核である。SFT による探索多様性の低下と多段構成の複雑さという、主流パイプラインの弱点を回避しようとしている。
手法: SFT を経ずにベースモデルへ直接 RL を適用し、医療ドメインに適応させる（詳細は本文を参照）。
UNREAL: Unifying Retrieval and Long-Context with a Single Model
著者: Edan Kinderman, Elad Hoffer, Yochai Blau et al.
長文脈推論と検索拡張生成（RAG）は、どちらも証拠を選ぶ処理だが、扱う規模が1本の長いプロンプトからコーパス全体まで大きく異なる（19 upvotes）。本研究は、モデル内部の単一の機構でこの範囲全体の証拠選択ができるかを問い、UNREAL を提案する。
新規性: 通常は別々のシステムとして作られる長文脈処理と RAG を、モデル内部の1つの証拠選択機構で扱う点が中核である。外部の検索器とモデル内部の注意を別々に設計する必要がなくなる可能性がある。
手法: モデル内部の機構を、プロンプト内の証拠選択とコーパスからの検索の両方に用いる（詳細は本文を参照）。
MiniCorp: The Last Mile of the AI Agent Firm
著者: Jingying Zeng, Zhenwei Dai, Jinning Li et al.
本研究は、企業向け AGI への最後の段階を「自ら運営される会社」と位置づける（15 upvotes）。そうしたエージェントの学習や適応には長期にわたる企業データが必要だが、そのようなデータは少なく、取得コストが高く、プライバシーの制約も受けやすい。過去のアーカイブも不完全で、実際に起きたことしか記録されていないことが多い。
新規性: エージェント企業の学習に必要な長期の企業データ不足を、シミュレーションで補う点が中核である。実データには「起きなかったこと」が残らないため、別の選択をした場合の展開を学ぶ材料にならない。シミュレーションならこの欠落を埋められる。
手法: 長期にわたる企業活動をシミュレーションで生成し、エージェントの学習・適応用データとして用いる（詳細は本文を参照）。
DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
著者: Karn Tiwari, Varnith Chordia, Prathosh A P
オンポリシー蒸留（OPD）は、生徒自身が生成した軌跡で生徒を教師に従わせることで、通常の蒸留で生じる学習時とテスト時のずれを減らす、LLM 後学習で広く使われる手法である（12 upvotes）。本研究は、既存の OPD の目的関数がほとんどトークン単位の局所的なものにとどまっていると指摘し、問題の難易度に応じて教師の誘導を調整する DiffGate を提案する。
新規性: 教師の誘導を一律にかけるのではなく、難易度によってゲートする点が中核である。生徒が自力で解ける問題と解けない問題とでは、教師の介入が必要な度合いが異なる。
手法: 問題の難易度を手がかりに、OPD における教師の誘導の強さを切り替える（詳細は本文を参照）。
NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
著者: Songlin Jiang, Zhiyu Li, Terry Kong et al.
エージェント型の RL では学習とロールアウトを別々のクラスタで行うため、方策を更新するたびに、次のバッチまでに新しい重みをロールアウト側へ届ける必要がある（10 upvotes）。この重み同期（refit）のために 1T パラメータのチェックポイント全体を2つの AWS リージョン間で転送すると、87.5分かかる。本研究は、ビット単位で完全に一致する差分圧縮によってこの refit を高速化する。
新規性: 兆パラメータ規模の RL のボトルネックを重み同期の通信に見出し、全体ではなく差分を送る方式を、ビット単位の正確さを保ったまま実現した点が中核である。圧縮によって重みが少しでも変われば学習側とロールアウト側の方策がずれるため、ビット完全性は重要な要件になる。
手法: BF16 学習の実測結果をもとに、更新前後の重みの差分を圧縮して転送し、ロールアウト側で元の重みをビット単位で正確に復元する（詳細は本文を参照）。
WavePrune: One period is often enough for RoPE
著者: Guancheng Du, Luotian Huang, Shaowen Wang et al.
RoPE はクエリとキーの各2次元チャネルをチャネル固有の周波数で回転させて位置を表す。この回転は周期的なので、ちょうど1周期分離れた相対位置同士が区別しにくくなる「位置エイリアシング」が起きる。WavePrune は、各チャネルを最初の回転周期の範囲に制限することでこれを解消する。
新規性: 必須と考えられてきた RoPE の周期構造が、最初の1周期を超える部分ではほぼ冗長であることを示した点が中核である。追加の調整なしで、テストした5モデル中4モデルの HELMET スコアが向上した（例: Qwen3-8B で 35.7 → 40.0）。ゼロから事前学習した場合も、学習長を超える長さでの検証損失が下がる。
手法: 各チャネルを最初の回転周期に制限すると、チャネルごとのスライディングウィンドウとして働き、細粒度のスパース性が生じる。これをハードウェアに合わせた CUDA カーネルで活用し、32K 文脈で FlashAttention-2 比 1.15倍の prefill、1.24倍の decode 高速化を得た。
分野別の動向
後学習：オンポリシー蒸留の再設計
オンポリシー蒸留（OPD）をめぐる報告が重なった。Cross-Tokenizer OPD（153 upvotes）は教師信号の信頼性を、DiffGate（12 upvotes）は難易度に応じた教師の介入を論点にしており、どちらも「教師の信号をどこでどれだけ使うか」を問題にしている。OPD Before RL（4 upvotes）は、ルーブリックに基づく RL の前に OPD でウォームスタートする構成を扱う。応答全体の採点後にしか報酬が得られないという弱点を補うねらいである。Harness-Aware Distillation（5 upvotes）は、エージェントを小型モデルへ蒸留しても周囲のハーネス（文脈・ツール・フィードバックを管理するソフトウェア）は残るため、生徒はハーネスで補えない能力を中心に学べばよい、という観点を示す。
強化学習：効率化と設計の見直し
RL 後学習を支える基盤の研究が続いた。TRACE（70 upvotes）は FP4 ロールアウト、NeMo-DCR（10 upvotes）は兆パラメータ規模での重み同期を扱う。DART-ES（arXiv cs.LG）は進化戦略による順伝播のみの全パラメータファインチューニングに難易度に応じた重み付けと再生を加え、GRPO 比で1ステップあたりの実行時間を15.2〜50.2%、GPU あたりのピークメモリを21.1〜51.1%減らしたと報告する。学習の組み立て方では、HuatuoGPT-3（21 upvotes）が SFT を省いた RL のみの適応を試み、Rationale-Guided Policy Optimization（11 upvotes）は難問で正しい軌跡が見つからず報酬が疎になる問題に、根拠（rationale）を足場として与えて対処する。GA-GRPO（arXiv cs.LG）は LUFFY や TAPO など外部ガイダンス付き RL を統一的に扱う理論枠組みを示し、ガイダンスの最適な重みを閉形式で導いた。
エージェント：失敗の位置と攻撃面
CheckerBench（52 upvotes）と From Evidence to Action（34 upvotes）は、結果だけでは見えないエージェントの弱点を測ろうとしている。記憶では、DAEDALUS（9 upvotes）が自己生成したタスクからエージェントの記憶を立ち上げ、When to Remember, When to Abstain（arXiv cs.AI）は記憶に保存するかの判断を主張のカテゴリ別のしきい値で行うことを提案する。安全面では、Understanding and Enhancing Backdoor Persistency（6 upvotes）が、第三者モデルに仕込まれたバックドアが善意の後学習を経ても残るサプライチェーン上の脅威を扱う。AdvSim2Real（6 upvotes）は、Web 上に仕込まれた指示でエージェントが誘導されるプロンプトインジェクションに対し、Web ワールドモデル内で適応的な攻撃に抗する学習を行う。MiniCorp（15 upvotes）はエージェント企業向けデータのシミュレーションを提案する。
長文脈・推論効率
WavePrune（RoPE の周期制限）と UNREAL（RAG と長文脈の統一）に加え、注意機構と KV キャッシュの研究が多かった。HLA（5 upvotes）はチャンク単位の動的な混合で線形注意の表現力を高め、Multilinguality in Hybrid Attention LLMs（3 upvotes）は複数の注意方式を組み合わせたハイブリッド注意 LLM の多言語性を調べる。AttSVD（arXiv cs.LG）はプロンプトごとの注意に基づく SVD で KV キャッシュを低ランク圧縮し、密なキャッシュと同等の性能を最大50%のメモリで保つと報告する。MaskAhead（arXiv cs.LG）はブロック拡散言語モデルの KV キャッシュ削減を、SlimWise（10 upvotes）は MoE 推論で prefill と decode を分けたエキスパート刈り込みを扱う。
解釈可能性
arXiv cs.CL では内部表現の研究がまとまって出た。Capacity, Responsiveness and Alignment は、潜在構造の因果的な影響を3つの要因の積として捉え、低い整合（alignment）では概念表出が逆に抑えられうることを示した。Component and Dimension Sparsity in Transformer Refusal Mechanisms は、拒否のステアリング効果の大部分が上流コンポーネントの28〜48%からなる疎なメカニズムで再現できると報告する。Identifying Introspection From the Inside は、自己報告が忠実なモデルとそうでないモデルを、報告内容を理解せずにネットワーク内部の構造の違いで区別できる可能性を示す。
身体性・ロボティクス
VLA の実運用上の問題を扱う研究が並んだ。Taming VLAs under Robot Execution Errors（24 upvotes）は、摩耗や積載量の変化で実際の動作が指令とずれる場合に備え、運用時に適応する自己補償型 VLA を提案する。World Action Learning via Interaction-Centric Spectral Latent Guidance（24 upvotes）は、一人称視点の人間の動画からロボット操作の方策学習へ知識を移す。同じ著者グループからは、VLA のリアルタイム化（Toward Real-Time VLAs）、非同期の再計画（Execution-Aligned Progressive Noise）、構造化されたワールド・アクションモデル（Magic-W0）など複数の報告が出ている。