LLM強化学習の報酬整形に記憶機構を導入する研究が80件の支持を集め、TransformerのAttention Sink現象の包括的サーベイやエージェント評価ベンチマークの統合化など、LLM基盤技術からエージェント応用まで幅広い進展が見られた。
注目論文
QuanBench+: A Unified Multi-Framework Benchmark for LLM-Based Quantum Code Generation
著者: Ali Slim, Haydar Hamieh, Jawad Kotaich et al.
LLMの量子コード生成能力を単一フレームワークではなく、Qiskit・PennyLane等の複数フレームワーク横断で評価する統合ベンチマークを提案。量子的推論能力とフレームワーク習熟度を分離して評価できる初のベンチマークとなる。
新規性: 従来の量子コード生成評価は特定フレームワーク内に閉じていたが、複数フレームワーク横断の統一評価により、LLMが真に量子計算の概念を理解しているのか、特定APIの記憶に依存しているのかを識別可能にした。
手法: Qiskit、PennyLane等の主要量子計算フレームワークにまたがるタスクセットを設計し、同一の量子アルゴリズム問題を異なるフレームワークで実装させることで、フレームワーク非依存の量子推論能力を測定する。
The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
著者: Yang Liu, Enxi Wang, Yufei Gao et al.
LLMの強化学習において、ポリシーが類似した誤りパターンを繰り返し生成するサンプリング多様性低下問題に対し、過去の誤りパターンを記憶して報酬を動的に整形する手法を提案。古典的なエントロピー正則化が現在のポリシー分布下のランダム性を促進するのみであるのに対し、過去の失敗を明示的に参照する。
新規性: 従来のエントロピー正則化は現ポリシーの分散を増やすだけで過去の失敗を参照しないが、本手法は過去の誤り行動を明示的に記憶し、それらから離れるよう報酬を動的に調整する。強化学習の「同じ過ちを繰り返す」根本問題に直接対処する。
手法: 過去のロールアウトから誤りパターンを記憶するメモリ機構を導入し、現在の生成が過去の誤りと類似する場合にペナルティを加える動的報酬整形を実現。これによりポリシーの探索多様性を維持しつつ、既知の失敗パターンからの脱却を促進する。
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
著者: Zunhai Su, Hengyuan Zhang, Wei Wu et al.
Transformerにおいて特定のトークン（多くは先頭トークン）に注意重みが不均衡に集中する「Attention Sink」現象について、利用・解釈・緩和の3つの観点から体系的に整理した包括的サーベイ。言語・視覚・3Dなど多様なドメインのTransformerに共通する課題を横断的に分析する。
新規性: Attention Sinkに関する散在した研究を初めて包括的に整理し、この現象がTransformerアーキテクチャ全般に共通する構造的特性であることを明確化。KVキャッシュ効率化やコンテキスト長拡張への応用可能性と、性能劣化リスクの両面を体系的に論じた。
手法: Attention Sinkの発生メカニズム、モデル性能への影響、既存の緩和手法を多角的にレビュー。初期トークンの保持によるストリーミング推論やKVキャッシュ圧縮への応用事例と、注意分散を促す構造的改善手法を比較分析。
CodeTracer: Towards Traceable Agent States
著者: Han Li, Yifan Yao, Letian Zhu et al.
コードエージェントの高度化に伴い、並列ツール呼び出しや多段階ワークフローにおける状態遷移とエラー伝播の追跡がますます困難になっている。初期の小さなミスがエージェントを誤った方向に導く問題に対し、状態の可視化とデバッグを可能にするフレームワークを提案。
新規性: エージェントの内部状態遷移を追跡可能にすることで、複雑なタスクにおける「どこで何が間違ったか」を事後分析できる初のフレームワーク。ブラックボックス的なエージェント実行のデバッグという実用的課題に正面から取り組んでいる。
手法: エージェントの各ステップにおける状態遷移を記録し、エラーの発生点と伝播経路を可視化するトレーシング機構を実装。複雑なタスクでの失敗分析と改善サイクルの効率化を実現する。
CocoaBench: Evaluating Unified Digital Agents in the Wild
著者: Shibo Hao, Zhining Zhang, Zhiqi Liang et al.
SWE・deep research・GUI自動化など、個別に評価されてきたエージェント能力を統合的に評価するベンチマーク。最近のエージェントスキャフォールドやモデルがこれらの能力を統合システムに組み込む方向に進む中、孤立した評価では実用性を測れないという問題に対応する。
新規性: ソフトウェア工学・深層リサーチ・GUI操作等の能力を統合的に評価する初のベンチマーク。個別能力の高さが統合タスクでの性能を保証しないことを実証し、統合エージェント評価の必要性を明確にした。
手法: 実世界のタスクシナリオを設計し、複数の能力を横断的に要求するタスクセットでエージェントを評価。個別能力ベンチマークとの性能乖離を分析することで、統合能力の評価指標を確立する。
Introspective Diffusion Language Models
著者: Yifan Yu, Yuqing Jian, Junxiong Wang et al.
拡散言語モデル（DLM）が自己回帰モデルに品質で劣る原因を「内省的整合性」の欠如として特定。自己回帰モデルは自身の生成結果に同意するが、DLMはしばしば同意しないという不一致を発見し、introspective acceptance rateを定義して改善する手法を提案。
新規性: DLMとARモデルの品質差の根本原因を「内省的整合性」という新概念で説明し、定量的な指標（introspective acceptance rate）として定式化。並列生成の利点を持つDLMの品質向上に向けた明確な方向性を示した。
手法: モデルが自身の生成結果を再評価する内省プロセスを導入し、DLMの生成結果がモデル自身の信念と整合するよう最適化。自己回帰モデルとの品質差を縮小しつつ、並列生成の効率性を維持する。
Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs
著者: Yu Li, Xiaoran Shang, Qizhi Pei et al.
ポストトレーニングデータは個別のアーティファクトとして扱われがちだが、データセット間には進化的な系譜関係が存在する。この複雑な関係を解きほぐすため「データ系譜」の概念を導入し、マルチエージェントフレームワークで系譜を追跡する手法を提案。
新規性: ポストトレーニングデータを孤立した成果物ではなく、相互に関連する進化的なエコシステムとして捉える「データ系譜」の概念を初めて形式化。データの出自と変遷を追跡することで、訓練データの品質管理と透明性向上に貢献する。
手法: 複数のエージェントが協調してデータセット間の派生関係・類似性・影響関係を分析し、系譜グラフを構築。ポストトレーニングデータの体系的な管理と品質評価を可能にする。
TRACE: Capability-Targeted Agentic Training
著者: Hangoo Kang, Tarun Suresh, Jon Saad-Falcon et al.
エージェント環境でLLMが発揮すべき能力は多岐にわたるが、既存の訓練手法はタスク全体の成功率のみを最適化し、個別の能力の習得状況を把握できない。TRACEはタスク解決に必要な能力を特定し、能力ごとにターゲットを絞った訓練を行う。
新規性: エージェント訓練を「タスク成功」という粗い粒度から「個別能力の習得」という細かい粒度に分解するアプローチ。どの能力が不足しているかを診断し、その能力に焦点を当てた訓練を行うことで効率的な能力向上を実現。
手法: エージェント軌跡を分析して各タスクに必要な能力を特定し、能力ごとの訓練データを構築。能力別の性能評価と訓練を反復することで、弱点を集中的に改善する。
Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks
著者: Yoonsang Lee, Howard Yen, Xi Ye et al.
エージェント検索やdeep researchなど長期的なエージェントタスクにおいて、複数のロールアウトを並列生成し最終回答に集約する並列テスト時スケーリングを研究。CoT推論では有効な並列スケーリングが、エージェントタスク特有の課題を持つことを明らかにする。
新規性: Chain-of-Thought推論で実証された並列スケーリングをエージェントタスクに拡張する際の固有の課題を特定。長期タスクでは各ロールアウトが異なる情報を収集するため、単純な多数決ではなくエージェント的な集約が必要であることを示した。
手法: 複数の並列ロールアウトから得られた異質な情報を統合するエージェント的集約手法を設計。各ロールアウトの部分的な知見を相補的に活用し、単一ロールアウトでは到達できない品質の最終回答を生成する。
Efficient RL Training for LLMs with Experience Replay
著者: Charles Arnal, Vivien Cabannes, Taco Cohen et al.
一般的なRLでは基盤技術であるExperience Replay（過去のロールアウトの再利用）が、LLMポストトレーニングでは「新鮮なon-policyデータが不可欠」という信念から未開拓のままであった。本研究はこの通説を実験的に覆し、Experience ReplayがLLM RLでも有効であることを実証。
新規性: LLMポストトレーニングにおけるon-policy神話に対する重要な反証。ロールアウトの再利用により計算コストを大幅に削減しつつ、性能を維持または向上できることを示し、LLM RLの効率化に新たな道を開いた。
手法: 過去のロールアウトを保存し、訓練中に複数回再利用するExperience Replayの仕組みをLLMのRLパイプラインに導入。データの鮮度と再利用効率のトレードオフを詳細に分析し、最適な再利用戦略を特定した。
分野別の動向
LLM訓練・最適化
報酬設計とRL効率化に関する研究が目立った。Memory-Enhanced Dynamic Reward Shapingは過去の誤りを記憶して報酬を動的に調整するアプローチで、RL訓練におけるサンプリング多様性の維持という重要課題に取り組んだ。Experience ReplayのLLM RL有効性の実証はon-policy神話への重要な反証となる。arXivからはSCOPE（蒸留ベースのトークンレベル信号によるon-policy RL改善）やLow-rank Optimization Trajectories（RLVR加速）など、RL訓練効率化の多様なアプローチが発表された。Attention Sinkサーベイはモデルアーキテクチャの根本的特性に関する理解を深める包括的な貢献である。
エージェント
エージェントの評価・訓練・デバッグの3つの側面で進展が見られた。CocoaBenchは統合的なエージェント評価の必要性を実証し、TRACEは能力ごとのターゲット訓練、CodeTracerはエージェント状態の追跡可能性という実用的課題にそれぞれ取り組んだ。Agentic Aggregationは並列テスト時スケーリングのエージェントタスクへの拡張を研究しており、エージェント研究が「動作するエージェントの構築」から「効率的・信頼性の高いエージェントの構築」へと成熟しつつあることを示している。arXivからはSWE-AGILE（動的推論コンテキスト管理）も発表された。
拡散言語モデル
Introspective Diffusion Language Modelsは、拡散言語モデルと自己回帰モデルの品質差を「内省的整合性」という新概念で説明し、改善への明確な方向性を示した。arXivからはNot All Denoising Steps Are Equal（マスク拡散言語モデルのモデルスケジューリング）やA Tale of Two Temperatures（拡散言語モデルからの多様なサンプリング）など、拡散言語モデルの実用化に向けた効率・品質改善の研究が複数発表されており、この分野の活発な発展が見られる。
評価・ベンチマーク
QuanBench+は量子コード生成という新領域での統合評価を提案し、LLMの能力評価の対象領域が拡大していることを示した。arXivからはGeneral365（汎用推論ベンチマーク）、Robust Reasoning Benchmark（推論のロバスト性評価）、SPEED-Bench（投機的デコーディングのベンチマーク）など、既存能力の評価精度向上と新領域への展開の両面でベンチマーク研究が活発であった。
安全性・アライメント
arXivからはWeird Generalization is Weirdly Brittle（特定データでのファインチューニングによる予期せぬ特性の出現が実は脆弱であること）、Deliberative Alignment（推論ベースのアライメントにおけるベースモデル由来の不安全行動の残存）など、アライメント手法の信頼性に疑問を投げかける研究が複数発表された。Playing Along（Theory of Mindを活用した防御エージェント）はLLMの社会的推論能力を安全性に応用する新しい方向性を示している。