人手資源からエージェントスキルを蒸留するRESOURCE2SKILL(112)と多段GraphRAGのRAGU(110)が上位。Loopie・LLA・xHCなどループ/再帰Transformerの改良が集中し、医療・ロボット特化モデルや解釈性・オンポリシー蒸留の研究も並んだ。
注目論文
RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
著者: Yijia Fan, Zonglin Di, Zimo Wen et al.
スキルは人間やエージェントの経験を再利用可能な手続き的知識へ変換する有用な抽象だが、既存のスキルライブラリの多くは手書き・テキスト中心・エージェント軌跡由来で、チュートリアル動画などマルチモーダルな人手資源が活かされていない（112 upvotes）。
新規性: 人が作成したチュートリアル動画等のマルチモーダル資源から、実行可能なエージェントスキルを蒸留する点が新しい。
手法: 動画をはじめとする多様な人手資源を手続き的知識へ変換し、エージェントが直接実行できるスキルとして抽出する。
RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM
著者: Mikhail Komarov, Ivan Bondarenko, Stanislav Shtuka et al.
Graph RAG（GraphRAG）は構造化知識でLLMを強化するが、既存システムは単一の抽出パスで知識グラフを構築するためノイズの多いエンティティと脆い検索を生む（110 upvotes）。
新規性: 単一抽出パスの雑なグラフ構築を改め、多段のGraphRAGをコンパクトなドメイン適応LLMで実現したオープンソースエンジンである点が貢献である。
手法: 抽出を段階分割してノイズを抑えるモジュール型GraphRAGを構成し、小型のドメイン適応LLMで頑健な検索と生成を両立させる。
Loop the Loopies!
著者: Zitian Gao, Yilong Chen, Yihao Xiao et al.
同一計算予算で比較すると、ループTransformerはN倍のループより単純にパラメータをN倍にした方が上回るという長年の課題があった。本研究は20B(活性2B)/6B(活性0.6B)のMoE型ループTransformer「Loopie」でこれに挑む（53 upvotes）。
新規性: 同一計算予算のvanilla Transformerを実質的に上回るループTransformerを実現し、2025年IMO/IPhOでツールなしの金メダル性能に到達した点が新しい。
手法: MoEとループ構造を組み合わせ、新規の事後学習パイプラインで強い推論能力を付与する。30B-A3Bのvanillaとの比較を含む広範なアブレーションで優位性を検証する。
Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories
著者: Xiaomi Robotics Team, Jun Guo, Piaopiao Jin et al.
Vision-Language-Action（VLA）モデルを、10万時間超の実世界軌跡でスケールした基盤モデルである（53 upvotes）。
新規性: 未知環境で多様な言語指示に従うモバイル操作を即応（out-of-the-box）で行い、かつ最小限の微調整で新規タスクへ効率的に適応できるVLA基盤モデルを提示した点が貢献である。
手法: 大規模な実世界軌跡でVLAを事前学習し、未知環境での汎化と少量データでの下流タスク適応を両立させる。
xHC: Expanded Hyper-Connections
著者: Xiangdong Zhang, Xiaohan Qin, Sunan Zou et al.
Hyper-Connections（HC）はTransformerの残差ストリームをN本の並列ストリームへ拡張し、幅や深さを超えるメモリスケーリングを与える。Manifold-Constrained HC（mHC）はこれを大規模で安定化するが、N=1からN=4への大きな利得は残差ストリーム拡張の有望さを示唆する（45 upvotes）。
新規性: 残差ストリーム拡張をさらに推し進め、mHCを超える一般化（Expanded Hyper-Connections）を提案した点が新しい。
手法: 残差ストリームの並列拡張を再定式化し、スケール時の安定性を保ちながら表現容量を高める。
Cura 1T: Specialized Model for Agentic Healthcare
著者: actAVA AI, Haolin Chen, Leon Qi et al.
医療は高リスクなコミュニケーション、専門的推論、ワークフロー実行にまたがるが、これらを併せてカバーする特化LLMは限られる。ある1タスク向けの狭い更新が別タスクを劣化させる問題もある（42 upvotes）。
新規性: 人間ゲート付きの自己進化ループで訓練された医療特化エージェントLLMを提示し、フロンティア基準の首位級に位置づけた点が貢献である。
手法: 各進化ラウンドで訓練エージェントが目標能力を計画・訓練・評価し、観測された失敗から合成・キュレーションされたデータ混合を精製する、データ中心のループで改善する。
Verbalizable Representations Form a Global Workspace in Language Models
著者: Wes Gurnee, Nicholas Sofroniew, Adam Pearce et al.
人間の脳が処理する情報のうち言語報告・熟慮的制御・柔軟な推論に利用可能なのは一部に過ぎない。本研究は、これに類する機能的区別が大規模言語モデルにも現れることを示す。
新規性: 新たな解釈技術「Jacobianレンズ」で、モデルが言語化しようとしている表現（J空間）を特定し、それがグローバルワークスペース理論の機能的・構造的特徴を備えることを示した点が新しい。
手法: J空間の内容を報告・保持・黙考的推論に利用できることを示し、アライメント監査で戦略的熟慮・評価意識・訓練された不整合傾向を検出する。さらに「中断されて振り返ったら何と言うか」だけを訓練する反実仮想リフレクション訓練を導入する。
On-Policy Delta Distillation
著者: Byeongho Heo, Jaehui Hwang, Sangdoo Yun et al.
オンポリシー蒸留は、報酬モデルによる制約を緩和し教師モデルからトークン級の監督を与える、強化学習における事後学習の代替手法である（26 upvotes）。
新規性: さまざまな設定で研究・応用されてきたオンポリシー蒸留について、その基礎を掘り下げ改良を与えた点が貢献である。
手法: 教師のトークン級監督を活かすオンポリシー蒸留の学習ダイナミクスを分析し、より効果的な蒸留を実現する。
Recursive Harness Self-Improvement
著者: Hyunin Lee, Jinglue Xu, Jeffrey Seely et al.
モデル・ハーネス共進化の下で、ハーネスは単なる推論時の足場ではなく、その実行トレースが将来の基盤モデルを形づくるデータ生成要素でもある。だが提供者製の足場を継続的に更新するのは高コストで労力を要する（13 upvotes）。
新規性: ハーネスをエージェントループのプロンプト級仕様として表現し、自身の改訂履歴上のペアワイズフィードバックで反復的に精製するRHIを導入した点が新しい。
手法: 数回のRHI反復で低推論エージェントの性能上限を大きく引き上げ、最大推論設定を上回りつつ推論コストを最大60%削減する。利得は主に、より効果的なエージェント間の情報流通による課題特化の文脈管理から生じる。
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
著者: James O’ Neill, Fergal Reid
重み共有のループTransformerはブロック再利用でパラメータを削減するが、デコード時には再帰ステップごとに別々のK/Vキャッシュを保持する必要がある。本研究はこのループ添字付きキャッシュが高度に構造化されている点に着目する。
新規性: 固定トークン・層・ヘッドではK/Vベクトルがループ方向に短い低ランク軌跡を描くことを利用し、コンパクトなK/V潜在を保持して注意が読む時のみループ固有のK/Vを再構成するキャッシュコーデックを提案した点が新しい。
手法: 教師活性のSVDで初期化し、KLと注意出力の蒸留で精製する。Ouro-1.4Bでは4k文脈時のバッチ容量を32→768へ拡大（21.3倍圧縮）し、Huginn-3.5Bでは32倍まで実質無損失を保つ。
分野別の動向
ループ・再帰Transformerの再興
同一計算予算での効率を巡り、ループ/再帰構造の改良が今日の一大テーマとなった。Loopie（53 upvotes）はMoE型ループTransformerで初めてvanillaを実質的に上回りIMO/IPhO金メダル性能に達し、xHC（45 upvotes）は残差ストリームのN並列拡張をmHCを超えて一般化する。Looped Latent Attentionはループ間KVキャッシュの低ランク性を突いて最大32倍圧縮を達成し、DeepLoop（15 upvotes）もループTransformerの深さスケーリングを扱う。パラメータを増やさず逐次計算を積み増す方向が、実装可能な効率化として再評価されている。
エージェントスキルの構築と自己改善
エージェント運用そのものを深める研究も厚い。RESOURCE2SKILL（112 upvotes）はチュートリアル動画などマルチモーダルな人手資源から実行可能スキルを蒸留し、cs.CLではSkillCorpusが約82万件のスキルを16分類・品質3側面へ整理して実タスクでの有効境界を測る。RHI（13 upvotes）はエージェントループ仕様を自己改訂し、低推論エージェントを最大推論以上へ引き上げつつコストを最大60%削減する。人手・自己の経験を再利用可能な手続き的知識へ変換する潮流が共通する。
ドメイン特化・実世界エージェント
汎用性から実運用へ軸足を移す研究が目立った。Cura 1T（42 upvotes）は人間ゲート付き自己進化ループで訓練した医療特化エージェントLLMでフロンティア首位級に、Xiaomi-Robotics-1（53 upvotes）は10万時間超の実世界軌跡でVLAをスケールし未知環境の即応と少量微調整適応を両立する。高リスク領域や実世界操作という失敗の許されない設定で、データ中心の学習ループと大規模実軌跡が鍵になっている。
解釈性とオンポリシー蒸留
学習信号の質と内部機序への関心も続く。Verbalizable Representationsは「言語化直前の表現」をJacobianレンズで取り出し、アライメント監査で戦略的熟慮や評価意識を検出する解釈手法を示した。On-Policy Delta Distillation（26 upvotes）はトークン級監督を活かすオンポリシー蒸留の基礎を掘り下げ、cs.CLのDemystifying On-Policy Distillation（20 upvotes）もその役割・病理・調整を体系的に分析する。生成品質を保つ事後学習と、その内部で何が学ばれているかの解明が並走している。