オンポリシー蒸留で弱→強の汎化を安価に実現する研究が92 upvotesで首位。Video-LLMや高等数学の評価枠組みを問い直す論文が続き、量子化・蒸留検出・非英語推論といった「静かな失敗」を可視化する研究も並んだ一日。
注目論文
Weak-to-Strong Generalization via Direct On-Policy Distillation
著者: Shiyuan Feng, Huan-ang Gao, Haohan Chi et al.
検証可能な報酬による強化学習（RLVR）はLLMの推論力を高める強力な手法だが、強いモデルが更新されるたびに対象モデルが大量のロールアウトを生成する必要があり、モデルが大きくなるほど事後学習自体がボトルネックになる（92 upvotes）。
新規性: 高コストなRLVRを毎回繰り返す代わりに、直接的なオンポリシー蒸留によって「弱から強への汎化」を実現し、事後学習コストを抑える点が貢献である。
手法: 弱いモデルから強いモデルへの汎化を、オンポリシー蒸留で直接転移する枠組みを設計。ロールアウト生成の反復に依存しない効率的な事後学習パスを示す。
Video-Oasis: Rethinking Evaluation of Video Understanding
著者: Geuntaek Lim, Sungjune Park, Jaeyun Lee et al.
動画理解は本質的に複雑で、Video-LLMのベンチマーク性能が視覚知覚・言語推論・知識事前分布のどれに由来するのか切り分けにくい。高次推論を測るベンチマークは多いが、動画理解を評価する共通基準は定まっていなかった（61 upvotes）。
新規性: ベンチマークスコアの由来（知覚か、推論か、知識か）を分離して評価するための枠組みを提示し、動画理解評価の共通基盤を問い直した点が新しい。
手法: Video-LLMの性能構成要素を切り分ける評価設計を導入し、視覚知覚と言語推論・知識事前分布の寄与を区別して測定する。
AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification
著者: Lingkai Kong, Zijian Wu, Yuzhe Gu et al.
LLMは高校・五輪級の数学で顕著な性能を示す一方、高等数学における能力は十分に理解されていない。既存ベンチマークは分野の網羅性と評価の粒度の両面で不足していた（19 upvotes）。
新規性: 高等数学の証明生成と検証を、分野別かつ細粒度に評価するベンチマークスイートを構築し、五輪級を超える難度でLLM能力を可視化した点が貢献である。
手法: 分野を横断する高等数学の証明課題を収録し、証明の生成と検証の双方を細粒度で採点する評価基盤を提供する。
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
著者: Tommaso Cerruti, Tim Rieder, George Rowlands et al.
自己注意は各トークンが全文脈から情報を引き出せるが、系列長に対する二次コストが長文脈での学習・推論を制約する。本論文はsoftmax注意と近年の再帰的線形注意アーキテクチャを比較する（13 upvotes）。
新規性: DeltaNetやGated D系など4種の線形注意とsoftmax注意を横並びで比較し、それぞれの機構・トレードオフに加えて層間ルーティングの観点を導入した点が新しい。
手法: 複数の線形注意アーキテクチャを統一的に評価し、表現機構と計算・性能上のトレードオフ、層をまたぐルーティング戦略を分析する。
Metacognition in LLMs: Foundations, Progress, and Opportunities
著者: Gabrielle Kaili-May Liu, Areeb Gani, Jacqueline Lu et al.
メタ認知は学習・問題解決・意思決定・コミュニケーションに不可欠な知能の基盤要素であり、近年は有能で透明なAIシステムの礎としても認識が高まっている（12 upvotes）。
新規性: LLMのメタ認知を、基礎概念・これまでの進展・今後の課題という観点から体系的に整理したサーベイである点が貢献である。
手法: LLMにおけるメタ認知研究を俯瞰し、その基盤・到達点・未解決の機会を構造化して提示する。
UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
著者: Chongyu Fan, Pengfei Liu, Jingjia Huang et al.
強化学習はLLMの複雑推論を高める標準パラダイムとなったが、サンプル効率のため重要度サンプリング（IS）に依存する現代のRLフレームワークは、探索と安定性のジレンマに苦しんでいた（8 upvotes）。
新規性: 非対称な最適化（Unbounded Positive）によって、重要度サンプリングに内在する探索-安定性のジレンマを打破する点が新しい。
手法: 正方向を非有界に扱う非対称最適化を導入し、探索性と学習の安定性を両立させるLLM向けRL手法を提案する。
Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals
著者: Daocheng Fu, Rong Wu, Yu Yang et al.
事後学習はLLMのドメイン特化能力を洗練するために不可欠だが、既存の報酬最適化・分布整合の手法はポリシー探索と分布アライメントを密結合させ、高コストな探索をポリシー上で直接強いていた（7 upvotes）。
新規性: 代理（proxy）が導く更新信号によってポリシー探索と分布整合を分離し、モジュール型の事後学習パラダイムとして再構成した点が貢献である。
手法: 探索を代理誘導の更新信号に委ね、再利用可能なガイダンスとして分布アライメントと切り離すことで、探索コストを抑えたLLM事後学習を実現する。
Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts
著者: Renuka Oladri, Mohan Vamsi Varadaraju Priya, Jerry Wu
事後量子化はタスク精度を保ったままでも、LLMの推論の仕方を静かに変質させうる。本研究は2名の独立アノテータで検証した6分類の失敗タクソノミー（Cohen’s κ=0.906）でこれを実証する（arXiv:2607.09999）。
新規性: 精度が頑健（最大3.1ポイント低下）でも、正答を不完全・検証不能な推論で得る「Hollow Convergence」がNF4で規模依存的に変動することを示し、精度指標では捉えられない失敗モードを可視化した点が新しい。
手法: 3B–14Bの5つの指示調整済みLLMについて、3精度（FP32/FP16/NF4）・4推論ベンチで30,000件のChain-of-Thoughtを分類。NF4下でLLaMA 3.2-3BのShortcut Collapseが44%→78%へ上昇するなど質的シフトを検出し、Hollow Convergenceが表層特徴からは信頼的に検出できない（best F1=0.53）ことを示した。
Reference-Based Distillation Detection in LLMs
著者: Rajat Rawat, Sizhe Chen, Akshay Anand et al.
より強い第三者モデルの出力で学習する蒸留は性能向上に広く使われるが、不当な優位や規約違反の懸念を生む。あるモデルが別のモデルから蒸留されたかを検出できるか、という根源的問いに取り組む（arXiv:2607.09692）。
新規性: 学生モデル単体からの教師特定は困難だが、同系統の旧世代チェックポイントを参照に用いる設定では検出が可能になることを示し、参照ベースのメンバーシップ推論として定式化した点が貢献である。
手法: 参照チェックポイントに対して学生が各候補教師の出力へどれだけ選好的に整合するかを比較し、最尤の教師を特定。未知の蒸留パイプラインには出力から代理プロンプトテンプレートを推定し、QwQ・DeepSeek-R1・GPT-OSSに関する蒸留関係の新たな証拠を提示する。
Cost of Reasoning in non-English Languages: A Case Study on Japanese
著者: Yuu Jinnai
推論言語モデル（RLM）は、推論指向の学習データが最も豊富な英語で推論するとき最も高性能になる。一方で推論トレースは解釈性・安全性の手がかりであり、ユーザーが選んだ言語で推論できることが望ましい（arXiv:2607.10114）。
新規性: 日本語で推論するモデルの学習可能性を検証し、GRPOによる推論言語の制御が実現可能である一方、性能面・文化タスク面での代償を定量的に示した点が新しい。
手法: Qwen-3-8Bから日本語で継続事前学習したQwen-3-Swallow-8BをGRPOで訓練し、コード・数学・科学ベンチで評価。日本語推論は複数ベンチで英語推論と同等どまりで、日本語文化ベンチではベースラインより劣り、日本語推論が文化タスクの性能を自動的には高めないことを示した。
分野別の動向
事後学習の効率化：蒸留と探索-整合の分離
事後学習コストの削減が明確な焦点となった。Weak-to-Strong Generalization via Direct On-Policy Distillation（92 upvotes）は、強モデル更新のたびに高コストなRLVRを繰り返す代わりにオンポリシー蒸留で弱→強の汎化を実現する。Proxy Exploration and Reusable Guidance（7 upvotes）はポリシー探索と分布整合を代理誘導信号で分離してモジュール化し、UP（8 upvotes）は重要度サンプリングの探索-安定性ジレンマを非対称最適化で打破する。高価な探索やロールアウト反復をいかに避けるかが共通の問題意識である。
評価の問い直し：動画理解と高等数学
ベンチマークが本当に何を測っているかを再検討する動きが上位に並んだ。Video-Oasis（61 upvotes）はVideo-LLMの性能が視覚知覚・言語推論・知識事前分布のどれに由来するかを切り分ける枠組みを提示し、AdvancedMathBench（19 upvotes）は五輪級を超える高等数学の証明生成・検証を分野別・細粒度で評価する。スコアの数字だけでなく、その内訳と難度の妥当性を問う姿勢が強まっている。
静かな失敗モードの可視化
精度指標の裏に隠れる劣化や来歴を暴く研究が揃った。Silent Failures in Quantized LLM Reasoning（arXiv:2607.09999）は事後量子化が精度を保ったまま推論過程を変質させる「Hollow Convergence」を6分類タクソノミーで実証し、Reference-Based Distillation Detection（arXiv:2607.09692）は旧チェックポイントを参照に用いて教師モデルを高精度で特定する。Cost of Reasoning in Japanese（arXiv:2607.10114）も、日本語推論が英語同等どまりで文化タスクは劣化するという見えにくい代償を定量化した。
基盤アーキテクチャとメタ認知
基盤側では効率と自己理解が並んだ。Linear Attention Architectures（13 upvotes）はsoftmax注意とDeltaNet等4種の線形注意を比較し、機構・トレードオフに層間ルーティングの観点を加えて整理する。Metacognition in LLMs（12 upvotes）はLLMのメタ認知を透明で有能なAIの礎と位置づけ、基礎・進展・課題を体系化した。効率的な系列モデリングと、モデル自身の認知構造への関心が交差している。