LoopCoder-v2がループドTransformerで効率的テスト時計算スケーリングを実現し113 upvotesで突出。ACE-Ego-0とZoPPOが各40 upvotesでVLA事前学習と知識蒸留の新手法を提示し、GameCraft-BenchやLectūraAgentsがエージェント応用の評価・教育領域を拡張した。
注目論文
LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling
著者: Jian Yang, Shawn Guo, Wei Zhang et al.
ループドTransformerのテスト時計算スケーリングを効率化し、1回のループのみでKVキャッシュメモリとレイテンシを大幅に削減する手法を提案した研究（113 upvotes）。
新規性: ループドTransformerは共有ブロックを繰り返し適用することで潜在計算をスケーリングするが、逐次ループはレイテンシとKVキャッシュメモリをループ回数に比例して増大させる。並列ループTransformer（PLT）はクロスループ位置オフセット（CLP）と共有KVゲーテッドスライディングウィンドウアテンションでこのコストを軽減するが、依然として効率性に課題があった。LoopCoder-v2はこれらの制約を克服し、1回のループで効率的なテスト時計算スケーリングを実現する。
手法: クロスループ位置オフセットと共有KVゲーテッドスライディングウィンドウアテンションを組み合わせたPLTアーキテクチャを基盤とし、1回のループパスで複数回ループと同等の計算効果を達成する設計を導入する。KVキャッシュの共有と位置エンコーディングの工夫により、メモリ消費とレイテンシを同時に削減する。
ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining
著者: Hao Li, Ganlong Zhao, Yufei Liu et al.
エゴセントリック人間映像とロボット軌道データを統合し、Vision-Language-Action（VLA）モデルの事前学習を大規模化する手法を提案した研究（40 upvotes）。
新規性: VLAモデルは大規模で多様な具現化データから恩恵を受けるが、ロボット軌道データの収集はコストが高く労力を要する。大規模エゴセントリック人間映像が事前学習の補完的な実世界監督を提供することが示されているが、人間映像とロボットデータの共同学習には表現空間の不一致やアクション体系の違いという課題があった。ACE-Ego-0はこの統合を体系的に実現する。
手法: エゴセントリック人間映像から抽出した視覚的・動作的特徴とロボット軌道データを統一的な表現空間で事前学習する枠組みを設計する。人間の日常的な物体操作から得られる豊富な実世界知識をロボットのアクション予測に転移させることで、ロボットデータのみの学習を大幅に上回る汎化性能を実現する。
Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients
著者: Byung-Kwan Lee, Ximing Lu, Shizhe Diao et al.
勾配ではなくプロンプト内に教師を配置する知識蒸留手法で、小型モデルのベンチマーク汎化を改善する研究（40 upvotes）。
新規性: 知識蒸留は教師の能力を小型生徒モデルに転移するが、小型モデル領域では脆弱である。生徒に大幅に上回る教師のロジットを模倣させると、教師の最もシャープなモードに集中し、訓練分布外のベンチマークファミリーでの汎化を損なう。Zone of Proximal Policy Optimization（ZoPPO）はヴィゴツキーの最近接発達領域の概念に着想を得て、この問題を解決する。
手法: 教師モデルのロジットを直接模倣させる代わりに、教師の知識をプロンプト内のコンテキストとして提供し、生徒モデルが自身の能力範囲内で教師の指導を消化できるようにする。勾配レベルでの強制的な模倣ではなく、推論時のプロンプトベースの誘導により、小型モデルの汎化能力を維持しつつ知識転移を実現する。
GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
著者: Tongxu Luo, Rongsheng Wang, Jiaxi Bi et al.
実ゲームエンジン上でエージェントがプレイ可能なゲームをエンドツーエンドで構築できるかを評価するベンチマークを提案した研究（36 upvotes）。
新規性: ゲーム生成はコーディングエージェントの新興応用分野であり、自然言語仕様をプレイ可能なインタラクティブシステムに変換する能力が求められる。従来のコーディングタスクと異なり、ゲーム生成はゲームエンジン内で行われ、スクリプト・シーン・アセット・レンダリング・ランタイム相互作用が統合される必要がある。GameCraft-Benchはこの複合的な能力を体系的に評価する初のベンチマークである。
手法: 実ゲームエンジン環境上でのエンドツーエンドのゲーム構築タスクを設計し、スクリプティング、シーン構築、アセット管理、レンダリング設定、ランタイム動作の各側面を統合的に評価する。自然言語によるゲーム仕様からプレイ可能なゲームを生成するまでの全プロセスをカバーする。
LectūraAgents: A Multi-Agent Framework for Adaptive Personalized AI-Assisted Learning and Embodied Teaching
著者: Jaward Sesay, Yue Yu, Siwei Dong et al.
適応的パーソナライズドAI学習と具現化ティーチングのためのマルチエージェントフレームワークを提案した研究（30 upvotes）。
新規性: 効果的なパーソナライズドAI学習には、正確な学習者固有の教育資料を生成するだけでなく、多様な学習者に対して動的に指導を適応させるシステムが必要である。既存の教育エージェントは講義コンテンツの自動化やシミュレーションに主に焦点を当てており、学習者の理解度に応じた動的な適応とアバターを介した具現化ティーチングを統合したフレームワークは存在しなかった。
手法: 複数の専門エージェントが協調して学習者プロファイルの構築、教材生成、理解度評価、指導戦略の適応を行うマルチエージェントアーキテクチャを設計する。具現化ティーチングエージェントが学習者との対話的なインタラクションを通じてパーソナライズされた指導を提供する。
TRIAGE: Dialectical Reasoning for Explainable Risk Prediction on Irregularly Sampled Medical Time Series with LLMs
著者: Hyeongwon Jang, Gyouk Chu, Changhun Kim et al.
不規則サンプリング医療時系列に対し、LLMの弁証法的推論で説明可能なリスク予測を実現する手法を提案した研究（25 upvotes）。
新規性: 電子健康記録に基づく臨床早期警告システムは、校正されたリスクスコアとともに臨床医が検証可能な解釈可能な根拠を提供する必要がある。LLMベースのアプローチは有望だが、不規則にサンプリングされた医療時系列（ISMTS）の特性を適切に扱いながら説明可能性を確保することは困難であった。TRIAGEは弁証法的推論を導入し、この課題を解決する。
手法: 不規則サンプリングされた臨床観測データをLLMが処理可能な形式に構造化し、弁証法的推論プロセスを通じてリスク予測と説明を同時に生成する。賛否両論の証拠を体系的に検討することで、臨床的に妥当な根拠に基づいた予測を実現する。
Learning from the Self-future: On-policy Self-distillation for dLLMs
著者: Yifu Luo, Zeyu Chen, Haoyu Wang et al.
拡散型LLM（dLLM）へのオンポリシー自己蒸留を初めて適用し、自己回帰前提の手法を超える後訓練を実現した研究（24 upvotes）。
新規性: オンポリシー自己蒸留（OPSD）は大規模言語モデルの後訓練に有効だが、拡散型LLMへの適用は未探索であった。既存のOPSD手法は本質的に自己回帰中心であり、左から右へのプレフィックス条件付けで特権情報を注入するため、全位置を同時に生成する拡散型LLMには直接適用できない。本研究はdLLM固有のデノイジングプロセスに適した自己蒸留手法を設計した。
手法: dLLMの生成プロセスにおいて、将来のデノイジングステップからの情報を現在のステップの学習に活用する「自己未来からの学習」パラダイムを導入する。自己回帰のプレフィックス条件付けに代わり、拡散プロセスの時間的構造を活用した特権情報の注入を実現する。
OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation
著者: Guibin Zhang, Xun Xu, Yanwei Yue et al.
オンポリシー蒸留による4層メモリ階層を持つ自己進化エージェントフレームワークを提案し、9Bモデルで巨大モデルに匹敵する性能を達成した研究（21 upvotes）。
新規性: メモリは自己進化エージェントの標準的な基盤となっているが、経験を保持することと経験を通じて進化する方法を学ぶことは同義ではない。既存のメモリエージェントは軌道の保存、反省の検索、スキルの蓄積は可能だが、有用な経験の選択・活用・再利用可能な知識の記述・リポジトリの維持という包括的な能力を欠いていた。OPD-Evolverはこれらを統合した「エージェント進化者」を育成する。
手法: 高速ループでは4層メモリ階層（ルール・エビデンス・スキル・メタ知識）と対話してテスト時進化を行い、低速ループでは結果校正されたメモリ帰属とヒンdsightを用いた特権蒸留により4つの能力をデプロイ可能なポリシーに内在化させる。OPD-Evolver-9BがQwen3.5-397Bに迫る性能を示した。
Rethinking the Role of Efficient Attention in Hybrid Architectures
著者: Ziqing Qiao, Yinuo Xu, Chaojun Xiao et al.
スライディングウィンドウアテンション（SWA）やリカレント混合モジュールがハイブリッドアーキテクチャのモデル能力をどう形成するかを体系的に分析した研究（11 upvotes）。
新規性: 現代の言語モデルはフルアテンションと効率的アテンションモジュールを組み合わせたハイブリッドアーキテクチャを採用する傾向にあるが、効率的モジュールがモデル能力をどのように形成するかは十分に理解されていなかった。本研究はSWAやリカレントシーケンスミキサーの役割を体系的に解明する。
手法: フルアテンションと各種効率的アテンションモジュールの組み合わせを系統的に変化させ、各構成がモデルの各種能力（長距離依存性の捕捉、ローカルパターンの処理など）に与える影響を分析する。効率的モジュールの配置と比率がモデル性能に与える影響を定量的に評価した。
Models Take Notes at Prefill: KV Cache Can Be Editable and Composable
著者: Bojie Li
KVキャッシュが編集・合成可能な「ノートブック」として機能することを示し、プレフィックスキャッシュと両立しつつTTFTを最大398倍短縮する手法を提案した研究。
新規性: プレフィックスキャッシュは共有プレフィックスが完全一致する場合のみプリフィルを再利用できるため、1フィールドの変更で下流キャッシュ全体が無効化される。しかしフィールドのKVベクトルを上書きして残りを再利用しても、モデルは古い値に基づいて動作する。本研究はその原因を因果的に特定し、プリフィル時にモデルが下流トークンに結論を「メモ」として書き込んでいることを4つのモデルファミリーで実証した。
手法: KVキャッシュをメモ化された結論のノートブックとして読み解き、2つの能力を導出する。（1）編集可能性：顕著な訂正文がメモを修正し、CoTと組み合わせることで約1%の計算量で判断を回復する。（2）合成可能性：メモは位置可搬であり、事前コンパイルされたスキルをRoPE再配置してスプライスできる。統合的なedit+composeエージェントはリコンピュートと同一の判断を最大14.9倍低いレイテンシで実現する。
分野別の動向
LLMアーキテクチャ・効率化
本日はTransformerアーキテクチャの効率化に関する研究が複数の角度から提示された。LoopCoder-v2（113 upvotes）はループドTransformerの計算効率を劇的に改善し、1回のループで複数回ループと同等の効果を達成する手法を示した。Models Take Notes at PrefillはKVキャッシュの根本的な性質を再解釈し、編集・合成可能な「ノートブック」として活用することでTTFTを最大398倍短縮した。Rethinking the Role of Efficient AttentionはハイブリッドアーキテクチャにおけるSWAやリカレントモジュールの役割を体系的に分析し、効率的アテンションの設計指針を提供している。前日のNemotron 3 UltraやLing/Ring 2.6が大規模ハイブリッドモデルの実装を示したのに対し、本日の研究群はアーキテクチャレベルの理論的理解と効率化に焦点を当てており、相補的な進展と言える。
知識蒸留・後訓練
ZoPPO（40 upvotes）とOPSD for dLLMs（24 upvotes）は、知識蒸留と自己蒸留という関連するテーマで異なるアプローチを提示した。ZoPPOはヴィゴツキーの最近接発達領域の概念を応用し、プロンプトベースの教師誘導で小型モデルの汎化を改善する。一方OPSDは拡散型LLMという新しいアーキテクチャクラスへの自己蒸留の適用を開拓した。OPD-Evolver（21 upvotes）も広義の蒸留に基づくが、エージェントの自己進化という応用文脈でメモリ管理能力の内在化に焦点を当てている。これら3研究は、蒸留技術が単純なモデル圧縮から、新アーキテクチャへの適用やエージェント能力の獲得へと応用範囲を拡大している傾向を示している。
エージェント・ベンチマーク
GameCraft-Bench（36 upvotes）はコーディングエージェントの評価を実ゲームエンジン上のゲーム構築という複合タスクに拡張し、従来のコーディングベンチマークでは測れない統合的な能力を評価する。arXivからはSEAGym（自己進化エージェントの評価環境）、CEO-Bench（LLMのCEOレベル意思決定評価）、Dissecting Model Behavior（エージェント軌道の138K分析）など、エージェント評価に特化した研究が複数登場している。エージェント技術の成熟に伴い、単純なタスク成功率を超えた多面的な評価手法への需要が高まっていることが読み取れる。
医療・教育応用
TRIAGE（25 upvotes）はLLMの弁証法的推論を不規則サンプリング医療時系列のリスク予測に適用し、LectūraAgents（30 upvotes）はマルチエージェントによる適応的パーソナライズド学習を提案した。arXivからもAIPatient Arena（臨床コンサルテーション評価）やSpeechDx（臨床音声AIベンチマーク）が登場しており、LLMの医療・教育分野への応用研究が活発化している。特に説明可能性と適応性が重視されている点が共通しており、ドメイン固有の制約に対応した設計が進んでいる。
安全性・解釈可能性
arXivからはRift（言語モデルの欺瞞の内部シグネチャ検出、AUC 1.0）やSTATEWITNESS（推論LLMの欺瞞監査のためのアクティベーション説明器、AUROC 0.916）など、LLMの安全性に関する意欲的な研究が登場している。RepSelect（2 upvotes）はLLMアンラーニングの堅牢性を表現選択性により改善する。これらの研究は、LLMの内部表現レベルでの安全性保証という方向性が具体的な成果を生み始めていることを示している。