Claw-Evalが自律エージェントの軌跡透明性・安全性評価の新基準を提示し、ACESがLLM生成テストの信頼性問題に取り組む。ThinkTwiceの推論・自己修正同時最適化、Olmo Hybridのハイブリッドアーキテクチャ優位性実証など、基盤技術の進展も顕著。
注目論文
Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents
著者: Bowen Ye, Rang Li, Qibin Yang et al.
LLMベース自律エージェントが多段階ワークフローを実行する場面が増える中、既存ベンチマークの3つの限界（最終出力のみの不透明な評価、安全性制約の不足、仕様の曖昧さ）を指摘し、信頼性のあるエージェント評価フレームワークを提案。
新規性: 最終結果だけでなくエージェントの実行軌跡全体を透明に評価し、安全性と仕様の十分性を同時に検証する包括的評価設計。エージェント評価における「軌跡透明性」という概念を体系化した点が重要。
手法: 軌跡の各ステップを可視化・検証可能な形式で評価する仕組みを構築し、安全性違反の検出と仕様不足による失敗の区別を可能にする。実世界ソフトウェア環境での多段階タスクを対象。
ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation
著者: Hui Sun, Yun-Ji Zhang, Zheng Xie et al.
LLM生成コードの選択にLLM生成テストを使用する際、テスト自体が不正確である可能性がある問題に取り組む。既存手法はすべてのテストを平等に扱うか、アドホックなヒューリスティクスで不信頼テストをフィルタリングするが、テストの正しさの判定にはコードの正しさの知識が必要という循環的困難がある。
新規性: Leave-One-Out AUC一貫性という新指標を導入し、コードとテストの正しさを同時に推定する理論的枠組みを確立。テスト品質の循環的依存問題に対する原理的な解法を提示。
手法: 各テストを1つずつ除外した場合のコード選択の一貫性をAUCで測定し、不正確なテストの影響を自動的に軽減。テストの正しさに関する事前知識なしで頑健なコード選択を実現。
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
著者: Shufan Jiang, Chios Chen, Zhiyang Chen
自律的なバグ発見はソフトウェア開発における重大な課題であり、動的ランタイム環境の複雑さからコード生成よりも難易度が高い。本研究はゲーム開発を代表的なドメインとして、LLMのQAエンジニアとしての能力を評価するベンチマークを提案。
新規性: ゲーム開発という動的かつ複雑な環境をテストベッドに選び、バグ発見という過小評価されてきたLLM能力を体系的に評価する初のベンチマーク。コード生成とバグ発見の難易度差を定量的に示す。
手法: ゲームの動的ランタイム環境を再現し、LLMがバグの特定・分類・報告を行う能力を多面的に評価。実際のゲーム開発で遭遇する多様なバグパターンを網羅。
ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement
著者: Difan Jiao, Qianfeng Wen, Blair Yang et al.
Group Relative Policy Optimization（GRPO）に基づく2フェーズフレームワークで、LLMの推論能力と回答の自己修正能力を同時に最適化する。各学習ステップペアにおいて、まず推論問題の解決を最適化し、次に回答の修正を最適化する。
新規性: 推論と自己修正を別々に学習するのではなく、交互最適化により両者を共同で改善するシンプルかつ効果的なアプローチ。従来の推論特化型学習の限界を克服。
手法: GRPOベースの2フェーズ交互学習で、第1フェーズで推論問題の解決能力を、第2フェーズで生成した回答の修正能力をそれぞれ最適化。数学・コード推論タスクで大幅な性能向上を達成。
Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing
著者: Gengsheng Li, Tianyu Yang, Junfeng Fang et al.
検証可能な報酬による強化学習（RLVR）はLLMのポストトレーニングの標準パラダイムとなっているが、GRPOの粗い信用割当は失敗したロールアウトを一律にペナルティ化し、トークンレベルの焦点が欠如している。サンプルルーティングによりGRPOと自己蒸留を統合する手法を提案。
新規性: GRPOの粗い信用割当問題と自己蒸留の利点を統一的に扱い、サンプルの特性に応じて最適な学習信号を自動的にルーティングする枠組み。
手法: 各サンプルの成功・失敗パターンに基づいて、グループ相対的最適化と自己蒸留のいずれかに動的にルーティング。成功サンプルからはトークンレベルの蒸留信号を、失敗サンプルからはグループ相対的ペナルティを適用。
Watch Before You Answer: Learning from Visually Grounded Post-Training
著者: Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang et al.
視覚言語モデル（VLM）にとって視覚・時間・テキストの手がかりの包括的理解は不可欠だが、動画理解性能はテキストベースの推論に比べて遅れている。本研究はこの問題が想定以上に深刻であることを示し、視覚的に根拠づけられたポストトレーニングによる改善を提案。
新規性: VLMの動画理解能力の遅れを詳細に分析し、視覚的根拠づけ（visual grounding）を明示的に組み込んだポストトレーニング手法の有効性を実証。テキスト推論偏重の学習パラダイムへの警鐘。
手法: ポストトレーニング段階で視覚情報への注視を強化する学習手法を設計。モデルが回答前に視覚的手がかりを十分に処理することを促すトレーニング戦略。
How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings
著者: Yujian Liu, Jiabao Ji, Li An et al.
エージェントスキル（再利用可能なドメイン固有の知識アーティファクト）はLLMベースエージェントの拡張メカニズムとして普及しているが、スキル使用性能の形式的なベンチマーキングは不足している。既存の評価は理想化された条件に偏り、実世界の複雑さを反映していない。
新規性: 理想的条件ではなく現実的な設定でのエージェントスキル使用を評価する初の体系的ベンチマーク。理想条件と現実条件の性能ギャップを定量化。
手法: 直接的なスキル適用だけでなく、スキルの選択・組み合わせ・適応が求められる現実的なシナリオを構築し、LLMエージェントのスキル活用能力を多面的に評価。
BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs
著者: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef et al.
因果的生成言語モデルを双方向エンコーダに変換するアプローチは、BERT型アーキテクチャの強力な代替となる。しかし現行手法は最適な学習目的関数の合意がなく、スケール時の壊滅的忘却に悩まされ、柔軟な統合が困難。
新規性: 因果的LLMを双方向エンコーダに変換する際の壊滅的忘却を回避しつつ、テキストからオムニモーダルへの拡張を可能にする構成的アプローチ。
手法: 複数の因果的LLMを適応・構成することで双方向表現を獲得。スケールアップ時の忘却を防ぐ学習戦略と、マルチモーダル入力への柔軟な拡張機構を設計。
DARE: Diffusion Large Language Models Alignment and Reinforcement Executor
著者: Jingyi Yang, Yuxian Jiang, Xuhao Hu et al.
拡散型大規模言語モデル（dLLM）は自己回帰モデルの有力な代替として台頭しているが、オープンソースエコシステムがモデルファミリー間で断片化しており、統一的なアライメント手法が欠如している。DAREはdLLM向けの統一アライメント・強化学習フレームワークを提案。
新規性: 断片化したdLLMエコシステムに対して、モデルファミリーを横断する統一的なアライメントおよびRLHF実行基盤を初めて提供。自己回帰モデルで確立されたアライメント技術のdLLMへの移植を体系化。
手法: 拡散型生成の反復的デノイジングプロセスに適合するアライメント目的関数を設計し、並列生成ダイナミクスを活かしたRLHF実行パイプラインを構築。複数のdLLMファミリーで有効性を検証。
Olmo Hybrid: From Theory to Practice and Back
著者: William Merrill, Yanhong Li, Tyler Romero et al.
非Transformerアーキテクチャ、特に線形リカレントニューラルネットワーク（RNN）とアテンションを混合するハイブリッドモデルの可能性が示されてきたが、スケールアップのリスクと労力が正当化されるかは未解決だった。本研究は理論・実践の両面からハイブリッドモデルの優位性を実証。
新規性: ハイブリッドモデルがTransformerと線形RNNの両方を超える表現力（コード実行など）を持つことを理論的に証明し、7Bスケールの制御された実験でOlmo 3を上回る性能を実証。表現力の向上がなぜスケーリング効率の改善につながるかの理論的説明も提供。
手法: Olmo 3の7Bモデルのスライディングウィンドウ層をGated DeltaNet層に置換したOlmo Hybridを学習。同一条件下でのプレトレーニング・ミッドトレーニング評価で一貫した優位性を確認。スケーリング効率の差異を表現力の理論的分析で説明。
分野別の動向
エージェント評価・信頼性
本日最も注目を集めた分野。Claw-Evalが軌跡透明性・安全性・仕様十分性の3軸でエージェント評価を再定義し、How Well Do Agentic Skills Work in the Wildが理想条件と現実条件のスキル使用性能ギャップを定量化した。前日のClawArena・ClawsBenchに続くエージェント評価研究の集中は、エージェントの実世界展開が評価基盤の整備を急務としていることを反映している。
LLM推論・学習最適化
ThinkTwiceのGRPOベース推論・自己修正同時最適化、Unifying Group-Relative and Self-Distillationのサンプルルーティングによる学習信号の統合など、RLVRパラダイムの精緻化が進む。粗い報酬信号からトークンレベル・サンプルレベルのきめ細かな信用割当への移行が共通トレンド。Cog-DRIFTも難問題からの学習を可能にする適応的問題再定式化を提案しており、RLVRの適用範囲拡大に貢献。
コード生成・ソフトウェア工学
ACESがLLM生成テストの信頼性という根本的問題に原理的な解法を提示し、GBQAがゲーム環境でのバグ発見能力を評価するベンチマークを構築。Squeezeはコーディングエージェントのツール出力プルーニングによる効率化を提案。コード生成の「正確性」から「検証の信頼性」「バグ発見」「効率性」へと評価の焦点が多様化している。
アーキテクチャ・基盤技術
Olmo HybridがTransformer+線形RNNハイブリッドの優位性を7Bスケールで実証し、理論的表現力とスケーリング効率の関係を説明。BidirLMは因果的LLMから双方向エンコーダへの変換を体系化。DAREは拡散型言語モデルのアライメント基盤を統一。これらは自己回帰Transformer一強の構図に対する代替アーキテクチャの成熟を示している。
マルチモーダル・動画理解
Watch Before You Answerが VLMの動画理解能力の遅れを分析し、視覚的根拠づけポストトレーニングの有効性を実証。MedGemma 1.5は医療画像（CT/MRI/病理）への拡張を報告。PLUMEは潜在推論ベースのマルチモーダル埋め込みを提案。マルチモーダルモデルの「テキスト偏重」を是正する動きが加速している。