SkillOptが152 upvotesでLLMエージェントスキルの深層学習的最適化を提案し、EDRMがエントロピー動態に基づく適応的推論戦略選択でトークン41-55%削減を実現。SciAtlasが4300万論文規模の学術知識グラフを構築し、Test-Time Trainingがセーフティガードレール破壊の脆弱性を95% ASR@10で実証した。
注目論文
SkillOpt: Executive Strategy for Self-Evolving Agent Skills
著者: Yifan Yang, Ziyang Gong, Weiquan Huang et al.
LLMエージェントのスキルを深層学習オプティマイザのように反復的に最適化するフレームワークを提案した研究（152 upvotes）。手作業・ワンショット生成・緩い自己修正に依存していた既存のスキル進化を、勾配降下に類似した体系的最適化プロセスに置き換えている。
新規性: 現行のエージェントスキルは手作業で設計されるか、ワンショットで生成されるか、緩く制御された自己修正で進化するかのいずれかであり、いずれもスキルに対する深層学習オプティマイザとして機能していなかった。SkillOptはスキル自体を「学習対象のパラメータ」として扱い、フィードバックに基づく反復的最適化により確実に改善する初の枠組みを構築している。
手法: スキルを最適化対象として定式化し、実行フィードバックを報酬シグナルとして活用する反復的な改善ループを構築する。各イテレーションでスキルの実行結果を評価し、失敗パターンの分析に基づいてスキルの記述・手順・条件分岐を体系的に更新する。出発点からの確実な改善を保証する点が既存の自己修正手法との本質的な違いである。
SciAtlas: A Large-Scale Knowledge Graph for Automated Scientific Research
著者: Shuofei Qiao, Yunxiang Wei, Jiazheng Fan et al.
4300万論文・26分野・157Mエンティティ・30億トリプルからなる大規模学際的知識グラフを構築し、自動科学研究のための構造化認知基盤を提供する研究（45 upvotes）。キーワードマッチングやベクトル検索を超え、トポロジカルな推論による複雑な論理的接続のナビゲーションを可能にしている。
新規性: 現行の学術検索ツールは表面的なキーワードマッチングやベクトル空間意味検索に依存しており、複雑な論理的関係を辿るトポロジカル推論能力を欠いていた。また、エージェント型deep-researchフレームワークは論理的幻覚や高い推論コストを伴う。SciAtlasはこのギャップを埋める「パノラマ科学進化ネットワーク」として、分野横断的な知識統合を可能にする。
手法: 26分野・4300万論文を統合した異種学術リソース知識グラフを構築し、三経路協調リコールとグラフ再ランキングを用いたニューロシンボリック検索アルゴリズムを開発する。単純な意味マッチングから決定論的な関連発見への移行を実現し、文献レビュー・研究トレンド合成・アイデアポジショニング等の自動化を支援する。
When Do LLMs Reason? A Dynamical Systems View via Entropy Phase Transitions
著者: Wei Xia, Haoqing Wang, Zhi-Hong Deng et al.
LLMの推論がデコード中に動的に出現する状態であることを示し、初期エントロピー動態から推論の必要性を判定して推論戦略を適応的に選択するフレームワークEDRMを提案した研究。CoTが有益なタスクではエントロピーが一貫して低下し、そうでないタスクでは不安定または上昇するパターンを発見している。
新規性: CoT推論はデフォルト戦略として広く使われているが、事実的・オープンエンドなタスクでは改善が限定的または負の効果を示すというパラドックスが存在した。本研究はLLM推論がタスクやモデルの静的な性質ではなく、生成中に出現する動的デコード状態であることを実証し、高エントロピー探索状態から低エントロピー構造的推論状態への相転移として特徴づけた。
手法: デコード初期段階のエントロピー軌跡をコンパクトな多様体表現に埋め込み、ゼロショットでの推論戦略選択を可能にする訓練不要のルーティングフレームワークEDRMを構築する。15ベンチマーク・4モデルで41-55%のトークン削減を達成しつつ精度を維持・改善している。
Test-Time Training Undermines Safety Guardrails
著者: Simone Antonelli, Sadegh Akhondzadeh, Aleksandar Bojchevski
テスト時学習（TTT）がLLMの安全ガードレールを破壊する新たな攻撃面を実証した研究。LoRA下のfew-shotおよび生成フェーズ脅威モデルで平均ASR@10が95%および93%に到達し、既存の安全対策が動的適応に対して脆弱であることを示している。
新規性: TTTは推論時にモデルパラメータを適応させる新興パラダイムで、few-shot学習やRAG、複雑な推論の性能向上に寄与する。しかし、この動的適応が安全フィルタをバイパスする新たな脆弱性を導入することは十分に認識されていなかった。本研究はTTTに対する3つの脅威モデルを特定し、攻撃者がそれらを悪用して安全フィルタを迂回できることを体系的に実証した。
手法: 3つの脅威モデル（few-shot、生成フェーズ、LoRAベース）を定義し、各モデルファミリー・スケールにわたるAttack Success Rateを測定する。TTT誘発の過学習が標準的なジャッジの下でASRを膨張させる退化出力を生成する問題に対し、妥当性を考慮した評価手法を提案。防御として、プライベートな有害ホールドアウトセットでのパープレキシティシフトによるTTTリクエスト検出器を提示している。
Latent Cache Flow: Model-to-Model Communication Without Text
著者: Maximillian Rossi, Prajwal Raghunath, Eugene Wu
LLMエージェント間でKVキャッシュを直接転送することでテキストベース通信を置き換え、23%の精度向上と8.5倍の高速化を実現した研究。13MBのアダプタで956MBのCache-to-Cacheアダプタを上回る性能を達成している。
新規性: 現行のLLMエージェント間通信はテキストを介して行われるため、自己回帰デコードのレイテンシと情報損失が不可避である。Cache-to-Cache（C2C）はKVキャッシュの直接交換を試みたが、アダプタが大規模で訓練コストが高く、同一コンテキストを前提とするため異なるコンテキスト間の通信に対応できなかった。LCFはキーとバリューの圧縮的同時変換により、アダプタサイズをC2Cの約4%に削減しつつ異なるコンテキストにも対応する。
手法: キーとバリューを個別ではなく同時に変換・圧縮するアダプタを設計し、ターゲットモデルが持たない新情報のサマリーを送信する方式を採用する。共有コンテキスト設定ではC2Cより高精度、異なるコンテキスト設定ではテキストベース通信より23%高精度かつ8.5倍高速を実現している。
LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
著者: Xu Ouyang, Deyi Liu, Yuhang Cai et al.
シャノンの情報理論に基づきLLMをノイジーチャネルとしてモデル化し、既存のべき乗則では説明できない壊滅的過学習や量子化劣化などの非単調な現象を説明する新たなスケーリング則を提案した研究（7 upvotes）。
新規性: 既存のLLMスケーリング則は主に単調なべき乗則であり、計算量増加にもかかわらず性能が劣化する壊滅的過学習や量子化誘発劣化といった非単調な現象を説明できなかった。本研究はLLMを容量制限のあるノイジーチャネルとして捉え直すことで、これらの現象を統一的に説明するShannon Scaling Lawを導出している。
手法: LLMの各層をシャノンのノイジーチャネルとしてモデル化し、チャネル容量の概念を導入する。モデルの容量を超えるデータ量や精度低下（量子化）がチャネル容量の閾値を超えた時点で性能劣化が発生するという枠組みにより、既存のべき乗則では捉えられなかった非単調な性能変動を予測可能にする。
Learnability-Informed Fine-Tuning of Diffusion Language Models
著者: Shubham Parashar, Atharv Chagi, Jacob Helwig et al.
拡散言語モデル（DLM）のSFTにおいて、トークンの学習難易度と拡散時間ステップの関係を明示的に考慮するLIFTアルゴリズムを提案した研究。AIME’24およびAIME’25で最大3倍の相対改善を達成している。
新規性: DLMに対するSFTは自己回帰モデルで確立された手法だが、DLMに適用すると性能を低下させることがあり、その原因は十分に理解されていなかった。本研究はバニラSFTが「学習可能性」（何をいつ学習するか）を無視していることを発見した。具体的には、入力の大部分がマスクされている時に稀なトークンの学習が困難であり、大部分が見えている時に一般的なトークンの学習は容易で価値が低い。
手法: 入力の大部分がマスクされている時は容易なトークンを学習し、より多くのコンテキストが利用可能な時は困難なトークンを学習するよう、拡散時間ステップに応じた学習スケジューリングを導入する。これにより各時間ステップで利用可能な情報量と学習対象の難易度を整合させ、6つの推論ベンチマークで既存SFTベースラインを上回っている。
分野別の動向
エージェント・スキル進化
SkillOpt（152 upvotes）がエージェントスキルの深層学習的最適化を確立し、同日のFrom Raw Experience to Skill Consumption（22 upvotes）がモデル生成スキルのライフサイクル全体を体系的に研究している。前回レポートのπ-BenchやACCがエージェントの評価基盤と訓練データ構築に注力したのに対し、今回はエージェントが獲得したスキルそのものを改善・管理する上位レベルの最適化に焦点が移っている。スキルを「訓練対象のパラメータ」として扱うSkillOptの発想は、エージェント研究が単なるプロンプトエンジニアリングから本格的な学習問題へと成熟していることを示している。
LLM推論の効率化・理解
EDRM（When Do LLMs Reason?）がエントロピー動態による推論の動的検出と適応的戦略選択を提案し、PathCal（arXiv cs.AI）が反省マーカーの型別キャリブレーションによる訓練不要のデコード制御を示した。前回のFull Attention Strikes Backがアテンション構造の変換という訓練側アプローチだったのに対し、今回は推論をいつ・どのように行うかという推論時の意思決定自体を最適化する方向が主流となっている。「CoTをデフォルトで使う」から「CoTを選択的に使う」への転換が明確化しつつある。
LLMの安全性・信頼性
Test-Time Training Undermines Safety Guardrailsが推論時パラメータ適応による安全ガードレール破壊を実証し、ASR@10が95%に達することを示した。同日のarXivではLLMの宗教的偏向（When AI Takes Sides on Questions of Faith）やオンライン影響力工作への悪用可能性（How Far Will They Go?）など、LLMの社会的リスクに関する研究も複数発表されている。TTTの安全性問題は、推論時にモデルが動的に変化するパラダイム全般（TTT、ICL、RAG）に共通する構造的課題を浮き彫りにしている。
スケーリング則・理論的基盤
LLMs as Noisy Channelsがシャノン情報理論に基づく非単調スケーリング則を提案し、壊滅的過学習と量子化劣化を統一的に説明した。The Deterministic Horizon（arXiv cs.AI）はアーキテクチャに由来する推論深度の上限を形式的に証明し、Model Collapse as Cultural Evolution（arXiv cs.CL）は文化進化の反復学習理論でモデル崩壊を言語学的に説明している。LLMの能力限界を理論的に特徴づける研究が複数の角度から同時に進行しており、経験的スケーリングから理論的理解への移行が加速している。
拡散言語モデル
LIFTが拡散言語モデルのSFTにおける学習可能性の概念を導入し、AIME’24で3倍の相対改善を達成した。同日のLearned Relay Representations（arXiv cs.LG）はマスク拡散モデルのデコードステップ間で潜在情報を伝播する手法を提案し、推論レイテンシを最大32%削減している。自己回帰モデルが主流の中で、拡散言語モデル固有の訓練・推論課題に取り組む研究が着実に蓄積されている。