LatentSkillがテキストスキルを潜在表現に変換しエージェントのコンテキストコストを劇的に削減（50 upvotes）。FlashMemory-DeepSeek-V4とEnd-to-End Context Compressionが超長文KVキャッシュの効率化を異なるアプローチで追求し、Agents' Last Examが専門職ドメイン横断のエージェント評価基盤を提示した。
注目論文
LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
著者: Aofan Yu, Chenyu Zhou, Tianyi Xu et al.
テキストスキルをプラグアンドプレイの潜在スキルに変換し、LLMエージェントのコンテキストオーバーヘッドを大幅に削減するフレームワークを提案した研究（50 upvotes）。
新規性: エージェントシステムはタスク手順をテキストスキルとしてプロンプトに注入するが、毎ステップの注入は膨大なコンテキストコストを生み、スキル内容が平文で露出する問題もあった。LatentSkillはテキストスキルをモデルの重み空間に埋め込む初のフレームワークであり、コンテキスト消費とプライバシーの両課題を同時に解決する。
手法: テキストスキルをLoRAアダプタ等のプラグアンドプレイな潜在表現に変換し、推論時にスキルをモデル重みとして動的にロードする。テキストベースの注入を重みベースの注入に置き換えることで、コンテキスト長を消費せずにスキルを適用する。
Agents’ Last Exam
著者: Yiyou Sun, Xinyang Han, Weichen Zhang et al.
専門職ドメイン横断で1,968タスクのエージェント能力を測定する大規模ベンチマークを構築し、ベンチマーク精度と実用的デプロイメントのギャップを分析した研究（46 upvotes）。
新規性: 既存のベンチマークでAIシステムは高いスコアを達成しているが、多くの専門ドメインで経済的に意味のあるデプロイメントには至っていない。本研究はこのギャップを評価の問題と捉え、持続的な性能測定を欠く既存ベンチマークの限界を指摘し、5つのターミナルエージェントベンチマークの1,968タスクを監査して16%がフロンティアモデルによりハック可能であることを発見した。
手法: 複数の専門分野から大規模タスクセットを収集し、結果検証器の脆弱性を体系的に監査する。ベンチマークのハック可能性がリーダーボードと学習信号の両方を汚染することを実証する。
FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention
著者: Yan Wang, Qifan Zhang, Jiachen Yu et al.
Neural Memory Indexerを用いたLookahead Sparse Attention（LSA）により、超長文KVキャッシュのGPUメモリボトルネックを解消する推論パラダイムを提案した研究（42 upvotes）。
新規性: 従来のLLMはデコーディング時にフルKVキャッシュをロードし続けるため、超長文コンテキストでGPUメモリが深刻なボトルネックとなる。LSAはDeepSeek-V4アーキテクチャ上にNeural Memory Indexerを構築し、必要なKVのみを効率的にインデックス・取得する新たな推論パラダイムを提案した。
手法: Neural Memory Indexerがデコーディング時に先読み（Lookahead）を行い、各ステップで必要なKVキャッシュエントリのみをスパースに選択する。フルKVキャッシュのロードを回避しつつ、長距離依存関係を保持する。
Echo-Memory: A Controlled Study of Memory in Action World Models
著者: Wayne King, Zeyue Xue, Yuxuan Bian et al.
アクション条件付きワールドモデルにおける記憶メカニズムの制御実験を行い、長期一貫性の失敗が画像合成ではなく記憶にあることを特定した研究（27 upvotes）。
新規性: アクション条件付きワールドモデルは初期フレーム・テキスト・カメラアクション系列からマルチセグメント動画を生成するが、カメラが元の位置に戻った際の不整合が中心的な課題であった。Echo-Memoryはこの失敗がローカルな画像合成ではなく記憶メカニズムに起因することを制御実験で初めて体系的に特定した。
手法: カメラが以前の視点に戻る「エコー」シナリオを設計し、モデルが過去の視覚情報をどの程度保持・再現できるかを定量評価する。記憶の劣化パターンを時間経過・カメラ移動距離の関数として分析する。
End-to-End Context Compression at Scale
著者: Ang Li, Sean McLeish, Haozhe Chen et al.
長文KVキャッシュ圧縮をモデル品質の大幅な劣化なしにスケーラブルに実現する手法を提案した研究（16 upvotes）。
新規性: 既存のKVキャッシュ圧縮手法は品質を大きく劣化させるか、単一の長いプロンプトの圧縮に相当な時間と計算を要するかのトレードオフに陥っていた。本研究はエンドツーエンドの圧縮アプローチにより、品質維持とスケーラビリティの両立を実現した。
手法: 長文コンテキストのKVキャッシュをエンドツーエンドで圧縮する学習ベースの手法を提案し、メモリ削減と推論速度向上を達成する。圧縮プロセス自体の計算コストも低く抑える設計とする。
OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics
著者: Mingxian Lin, Shengju Qian, Yuqi Liu et al.
UE5ベースの統一ベンチマークでVLMゲームエージェントのマルチエージェント対戦・協力と改善ダイナミクスを評価するフレームワークを提案した研究（16 upvotes）。
新規性: 既存のゲームベンチマークはエージェントごとに単一の初回スコアのみを報告し、ソロプレイに限定され、異種エージェントクラスの統一的評価プロトコルを欠いていた。OmniGameArenaはマルチエージェント対戦を含む統一評価と、試行を重ねた改善ダイナミクスの測定を初めて統合した。
手法: Unreal Engine 5上に複数のゲーム環境を構築し、VLMエージェントのソロ・対戦・協力プレイを統一プロトコルで評価する。改善ダイナミクスとして、複数試行にわたる学習曲線も測定対象とする。
A Geometric Account of Activation Steering through Angle-Norm Decomposition
著者: Georgii Aparin, Tatiana Gaintseva
線形活性化ステアリングの有効性を角度-ノルム分解により幾何学的に解明し、球面ステアリングの理論的基盤を整理した研究（15 upvotes）。
新規性: 線形活性化ステアリングはLLMの振る舞い制御として人気を集めているが、その動作原理は不明確だった。球面ステアリングが加法的介入の限界を克服するとして提案されてきたが、その動機付けは隠れ状態のノルムが重要でないという仮定に基づいていた。本研究は角度とノルムの両方の役割を幾何学的に分解し、ステアリングの理論的理解を深めた。
手法: 隠れ状態の変化を角度成分とノルム成分に分解し、活性化ステアリングがそれぞれにどのような影響を与えるかを分析する。加法的・球面的ステアリングの振る舞いの違いを幾何学的に説明する。
Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders
著者: Georgii Aparin, Vadim Popov, Tasnima Sadekova et al.
Whisperの内部表現からASRハルシネーションを検出し、Sparse AutoEncoderと表現ステアリングにより軽減する手法を提案した研究（11 upvotes）。
新規性: Whisperは非音声オーディオに対して入力と無関係な一貫した文字起こしを生成するハルシネーション問題を抱えている。本研究はハルシネーションがWhisperの内部表現に検出可能な痕跡を残すことを示し、表現レベルでの検出・軽減を初めて実現した。
手法: オーディオの隠れ表現を抽出し、ハルシネーション発生時の表現パターンをSparse AutoEncoderで学習する。検出された特徴を用いて表現ステアリングを適用し、ハルシネーションを推論時に軽減する。
Why Muon Outperforms Adam: A Curvature Perspective
著者: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li et al.
二次解析による曲率の観点から、MuonオプティマイザがAdamを大規模言語モデル訓練で約2倍上回る理由を解明した研究（8 upvotes）。
新規性: MuonはAdamと比較してLLM訓練効率を約2倍改善するが、この優位性の局所的な幾何学的源泉は不明だった。本研究はMuonの優位性を曲率の観点から初めて体系的に分析し、二次最適化理論との接続を確立した。
手法: 二次解析を適用してAdamとMuonの更新方向がローカルな曲率構造とどのように相互作用するかを分析する。損失関数のヘッセ行列の構造がMuonの更新則により効果的に活用される機構を理論的に解明する。
Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short
著者: Han Zhou, Adam X. Yang, Laurence Aitchison et al.
検証可能報酬がグループレベルで無情報になる場合に、推論トレースのトーナメント比較により学習を継続する手法を提案した研究（7 upvotes）。
新規性: 検証可能報酬によるRL（RLVR）はLLMの推論能力向上の主要パラダイムだが、同一プロンプトの全サンプルが同じ結果（全正解or全不正解）となる場合、報酬信号が無情報になる。Reasoning Arenaはこの「報酬飽和」問題に対し、トレース間のトーナメント比較により差別化された学習信号を生成する初のアプローチである。
手法: 同一プロンプトから生成された複数の推論トレースをペアワイズまたはトーナメント方式で比較し、結果が同一でもトレースの質に基づく報酬信号を生成する。検証可能報酬と相補的に機能する学習フレームワークを構築する。
分野別の動向
LLMエージェント・スキル獲得
LatentSkillが本日最高の50 upvotesを獲得し、エージェントのスキル表現に関する研究の関心の高さを示した。テキストスキルの重み空間への埋め込みは、プロンプトエンジニアリングの限界を超える次のステップとして注目される。Agents’ Last Examはエージェントベンチマーク自体の脆弱性を監査し、16%のタスクがフロンティアモデルによりハック可能であることを発見しており、エージェント評価の信頼性に対する根本的な問題提起を行っている。arXivのBayesian-Agent（12 upvotes）もスキル進化に事後分布ガイドを導入しており、エージェントの能力獲得手法の多様化が進んでいる。
長文推論の効率化
FlashMemory-DeepSeek-V4とEnd-to-End Context Compressionの2本が、超長文コンテキストのKVキャッシュ問題に異なるアプローチで取り組んだ。前者はNeural Memory Indexerによるスパース選択、後者はエンドツーエンドの学習ベース圧縮という対照的な手法であり、長文推論の実用化に向けた研究の活発さを示している。arXivのEnabling KV Caching of Shared Prefix for Diffusion Language Modelsも拡散言語モデル特有のKVキャッシュ課題に取り組んでおり、効率化の対象がアーキテクチャ横断に広がっている。
LLM内部機構の解析
活性化ステアリングの幾何学的解明とWhisperハルシネーションの内部表現分析が、モデル内部の動作理解を異なる角度から深めた。前者は角度-ノルム分解という明快な枠組みを提示し、後者はSparse AutoEncoderを音声モデルに適用するクロスモーダルな展開を示している。前日のunembedding行列の再解釈に続き、モデル内部構造の解析的理解が連日進展している。
最適化理論
MuonがAdamを上回る理由の曲率的解明は、実践的に重要な知見である。大規模LLM訓練でのオプティマイザ選択に理論的根拠を与える研究として、訓練効率化の実務に直接影響する可能性がある。
ワールドモデル・シミュレーション
Echo-Memoryがアクション条件付きワールドモデルの記憶メカニズムを制御実験で分析し、失敗の原因を画像合成ではなく記憶に特定した。Light-WAM（7 upvotes）やAHA-WAM（12 upvotes）もワールドアクションモデルの効率化に取り組んでおり、ロボティクスや動画生成の基盤としてのワールドモデル研究が活発化している。
強化学習・報酬設計
Reasoning Arenaが検証可能報酬の限界を指摘し、トレースベースのトーナメント比較という代替手法を提案した。RLVR系手法の普及に伴い、報酬信号の質が学習のボトルネックとなるケースが顕在化しており、報酬設計の精緻化が今後の重要課題として浮上している。