AgentGradが92 upvotesを集め、マルチエージェントのプロンプト最適化を介入に基づく勾配で捉え直した。同時にSWE-Bench Pro Verified、WearableQA、MetroLLM-Bench、SAEScientist-Benchと評価側の再設計が並び、エージェントを何で測るかという問いが今日の中心にある。
注目論文
AgentGrad: Intervention-guided Prompt Optimization for Multi Agent Systems
著者: Jaewon Chu, Jinwoo Seo, Jaewon Cho et al.
LLM ベースのマルチエージェントシステム（MAS）は役割の異なる複数エージェントを組み合わせることで高い性能を得るが、その成否は各エージェントのプロンプト設計に強く依存する（92 upvotes）。AgentGrad は、この設計を介入（intervention）に導かれた最適化問題として扱う。
新規性: どのエージェントのプロンプトを直すべきかを、フィードバックの文面ではなく介入によって特定しようとした点が中核である。MAS のプロンプト最適化には、自然言語のフィードバックでプロンプト更新を導く「テキスト勾配」系の手法が使われてきた——だが複数エージェントが直列・並列に絡む系では、最終出力が悪かったという信号がどのエージェントのどの指示に起因するのかが曖昧なまま、全員に薄く配分されてしまう。介入を通じて寄与を切り分ける構成は、MAS のプロンプト最適化に信用割当の枠組みを持ち込むものである。
手法: 自然言語フィードバックによるテキスト勾配を、介入に基づく寄与推定と組み合わせ、MAS 内の各エージェントのプロンプトを個別に更新する。
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data
著者: Ji Soo Lee, Xilun Chen, Pierce Chuang et al.
ウェアラブルセンシングの進展によって生理・行動信号の継続的なモニタリングが可能になったが、AI システムが実ユーザーの長期的なウェアラブル記録の上で推論できるかを問う評価はほとんど存在しない（37 upvotes）。WearableQA は 4,084 問・10 択のベンチマークとしてこの空白を埋める。
新規性: 健康推論の入力を、要約済みの指標ではなく実ユーザーの縦断的な生記録に据えた点が中核である。健康ドメインの LLM 評価は臨床試験問題や診断ケースとして組まれることが多い——だがウェアラブルが生む情報は、数週間から数か月にわたる多チャネルの時系列であり、「いつ・どの信号の・どの変化を根拠に読むか」まで含めて初めて推論になる。長期記録そのものを文脈として与える設計は、この時間軸を評価対象に戻すものである。
手法: 実世界のウェアラブル記録に紐づく 4,084 件の 10 択問題を構築し、縦断データ上での健康推論能力を測る。
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
著者: Haojun Zhang, Yi Zou, Min Chen et al.
音声 LLM の推論コストは音声エンコーダの深さに大きく依存するが、ブロックをまるごと削除するとデコーダが受け取る埋め込みが乱れ、脱落や早すぎる系列終了といったエラーを招く（30 upvotes）。X-AuT は、層の組み合わせを段階的に選択していく圧縮フレームワークである。
新規性: 圧縮の単位を「どのブロックを消すか」から「どの層の組み合わせを残すか」へ移し、しかもそれを一度ではなく段階的に決める点が中核である。エンコーダの枝刈りは層単位の独立な判断として実行されがちである——だが音声 LLM ではエンコーダ出力がそのまま言語デコーダの入力分布を規定するため、削除の影響は層内で完結せず下流の生成挙動として現れる。クロススケール蒸留を挟みながら漸進的に縮める構成は、この境界面の整合を保ったまま深さを削るための設計である。
手法: 層の組み合わせを段階的に選択し、異なるスケール間の蒸留（cross-scale distillation）でデコーダが消費する埋め込みを整合させながら音声エンコーダを圧縮する。
Memory as Plans: World-Action Modeling with Memory-Grounded Planning
著者: Sizhe Zhao, Haozhe Xie, Weiyu Zhao et al.
主流のロボット方策はマルコフ的な定式化を採るが、現実の複雑な操作タスクの多くは本質的に非マルコフ的で、現在の観測を超えた長期記憶を要する（25 upvotes）。既存の記憶機構は言語による要約や視覚窓の拡張、あるいはその組み合わせに頼ってきた。
新規性: 記憶を「過去の圧縮」ではなく「計画」として保持する点が中核である。ロボット方策の記憶は、何が起きたかを言語で要約するか観測窓を伸ばすかのいずれかで扱われてきた——だが要約は行動決定に必要な粒度を失いやすく、窓の拡張は計算量と引き換えに無関係な情報も抱え込む。記憶を計画の形で表現することは、過去の情報を将来の行動と同じ空間に置き、想起をそのまま実行可能な形にするものである。
手法: 記憶に接地した計画（memory-grounded planning）を世界モデルと行動モデルに統合し、非マルコフ的な長期ホライズン操作タスクに対応する方策を構成する。
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
著者: Pujun Zheng, Zixin Shang, Shufan Jiang et al.
SWE-Bench Pro はリポジトリ規模の難しいタスクでソフトウェアエンジニアリングエージェントを評価する標準ベンチマークとなったが、著者らの分析はその評価が二つの不確かさに損なわれていることを示す（23 upvotes）。一つは正解パッチや隠れ評価情報の漏洩によって可能になる報酬ハッキングである。
新規性: ベンチマークの改善対象を、問題の難易度ではなく評価系の健全性に定めた点が中核である。エージェント評価の議論はしばしば「もっと難しいタスクを」という方向に進む——だが解答が環境内から参照可能であれば、難易度を上げても測っているものは解決能力ではなく探索の抜け道になる。漏洩経路を洗い出して検証版を作る作業は、報告されるスコアが何を意味するかを回復させるものである。
手法: SWE-Bench Pro における報酬ハッキングと評価漏洩の経路を分析し、それらを取り除いた検証済みサブセットとして Verified 版を構築する。
Studying Image Tokenizers as Visual Languages in Unified Multimodal Models
著者: Siting Li, Zhengyang Wang, Simon Shaolei Du et al.
画像トークナイザは統合マルチモーダルモデルの「視覚言語」を規定するにもかかわらず、個別指標や生成のみ・理解のみの評価を通して調べられることが多い（19 upvotes）。そうした評価では、視覚トークンがテキストと同時にモデル化されたときにどう振る舞うかを捉えきれない。
新規性: トークナイザの良し悪しを、再構成品質や単一タスク性能ではなく、テキストと結合された系での挙動として測り直した点が中核である。トークナイザは通常、圧縮率と復元精度という自己完結した指標で比較される——だが統合モデルの中では、視覚トークンはテキストトークンと同じ自己回帰系列に並び、言語側の統計と相互作用しながら学習される。制御された純自己回帰設定で比較する構成は、その相互作用を評価の内側に入れるものである。
手法: 制御された純自己回帰的な統合モデルを構築し、異なる画像トークナイザを理解と生成の双方が共存する条件下で比較評価する。
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?
著者: Yuqiao Tan, Shizhu He, Jun Zhao et al.
再帰的自己改善（RSI）の研究はモデル学習パイプラインの自動化に集中してきたが、信頼できる自律開発にはもう一つの柱——モデルが何を学んだかを理解し安全な整合を担保する事後的なモニタリングと監査——が欠けている（19 upvotes）。機械論的解釈可能性のツールはそのために不可欠である。
新規性: 自動化の対象を、能力を伸ばす側ではなく能力を監査する側に置いた点が中核である。AI が研究を自動化するという議論は、モデルを強くする実験の自動化として語られてきた——だが自己改善のループが速くなるほど、何が変わったかを検証する側が律速になる。スパースオートエンコーダ（SAE）を用いた解釈可能性研究をエージェントに委ねられるかを問うことは、監査能力そのものをスケーリングの対象に含める試みである。
手法: SAE を用いた機械論的解釈可能性研究のタスク群をベンチマーク化し、AI エージェントが自律的に実施できるかを評価する。
MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
著者: Remco Hendriks
MetroLLM-Bench は、言語モデルを交通案内キオスクの方策層として試す 955 ケースのベンチマークである（19 upvotes）。37 駅から 414 駅までの規模を持つ実在の 6 つの地下鉄システムを対象に、経路案内、運賃計算、運行障害、アクセシビリティ、敵対的入力を含む 11 カテゴリを扱う。
新規性: LLM を対話アシスタントではなく、実在するシステムの上で動く実行時（ランタイム）として位置づけた点が中核である。LLM の実用性評価は自由対話の品質として測られることが多い——だがキオスクの案内は、特定の路線網という確定した事実の上で運賃や乗り換えを誤りなく出す必要があり、障害時の代替案や車椅子対応の可否のように誤答が実害へ直結する。実在 6 都市の網を固定した上でカテゴリを切る設計は、この確定性と責任範囲を評価に持ち込むものである。
手法: 実在の 6 地下鉄システムを対象に、経路・運賃・運行障害・アクセシビリティ・敵対的入力など 11 カテゴリ 955 ケースを構築し、キオスクの方策層としての言語モデルを評価する。
Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning
著者: Bin Lei, Yu Li, Prafulla Kumar Choubey et al.
木構造のロールアウトは、検証可能報酬による強化学習（RLVR）にクリティックなしでステップ単位の信用を与える——推論チェーンを途中で分岐させ、兄弟ノードの結果の差からステップ価値を推定する。分岐 1 本ごとにサンプリングコストがかかるため、現実的な予算ではチェーンあたり数本しか置けない。
新規性: 分岐位置を、構造やエントロピーではなくモデルの信念が変化する地点として定義した点が中核である。結果がすでにほぼ決まった場所に分岐を置くと兄弟同士がほとんど一致し、信用信号がほぼ得られない——つまり木のサイズを固定したとき、どこに置くかが得られる利得のほとんどを決める。既存手法は固定長・中点・区切り記号といった構造、あるいは次トークンのエントロピーで置いてきたが、本稿はこれを価値曲線の「ピボット」を突き止める問題として定式化する。
手法: 候補となるステップ境界でモデルの解答信念を読み取り、連続する信念が最も乖離するステップの直前で分岐する。ブラックボックスのプローブ、logit lens による深さプロファイル、オフラインで学習した活性化方向の 3 通りの実装があり、いずれもステップ単位の教師を必要としない。プローブのコストは数学で約 1%、コードで 5% 未満。モンテカルロ価値曲線との照合では 8 つのモデル×ベンチマークすべてで信念シフト信号が 1 位となり、実際の RL でも数学の集計値で全条件をリードし、OLMo-3-7B では集計 +2.6、AIME 2026 で +2.9、LiveCodeBench-medium で +6.5 の改善を示す。
MOSAIC: Query-Aware Exploration Policy Adaptation for GraphRAG
著者: EunKyeong Lee, Kyeong-Jin Oh, Jinwon Kim et al.
GraphRAG はコーパスグラフ上に散在する証拠を接続できるが、多くのシステムはクエリによらずほぼ共通の探索手順を用いる。直接的な事実は小さな局所近傍で足りる一方、比較には複数対象への均衡した被覆が要り、媒介された問いは弱い連結子を経由する深い経路を要する——この構造的なミスマッチが問題になる。
新規性: 検索手順をクエリ単位の制御問題として定式化し、しかも学習なしで実現した点が中核である。RAG の適応は通常、検索器を追加学習する方向で行われる——だがグラフ探索の適切な広さは問いの型によって変わるものであり、固定方針では狭すぎるか広すぎるかのどちらかに寄る。LLM アナライザがクエリごとの証拠要件を有界な方針へ翻訳し、グラフ・索引・スコア関数・生成器は共有のまま据え置く構成は、適応の負荷をパラメータではなく制御インタフェースへ移すものである。
手法: LLM アナライザがクエリの証拠要件を、シード選択・グラフ探索・停止条件・証拠選択にわたる有界な方針へ変換する。GraphRAG-Bench の Medical で Answer Correctness 76.97、Novel で 64.33 と既存最良を 5.13・4.43 ポイント上回り、Medical では Evidence Recall 95.1、Context Relevancy 86.1 に到達。同一グラフ・同一生成器での比較では固定方針（狭い/中間/広い）のいずれも一貫して最適ではなく、最良の固定方針に対して 9.96 ポイント改善しつつ、Fixed Wide 比で評価経路を 81.9%、保持する証拠を 47.2% 削減する。HotpotQA・MuSiQue・2WikiMultiHopQA への転移も示されている。
分野別の動向
エージェント評価とベンチマーク設計
今日の論文群でもっとも人数が集まったのは、エージェントを何でどう測るかという問いだった。SWE-Bench Pro Verified は標準ベンチマークの内部に報酬ハッキングと評価漏洩という二つの穴を見つけて塞ぎ、MetroLLM-Bench は実在 6 都市の地下鉄網という確定した事実の上で LLM をキオスクのランタイムとして試し、WearableQA は縦断的な実ウェアラブル記録という要約されていない入力を持ち込む。SAEScientist-Bench は評価の向きを反転させ、モデルを監査する研究そのものをエージェントに委ねられるかを問う。arXiv 側でも同じ方向の整理が並び、Defining AI Agents は「エージェント性」を環境相互作用・学習と適応・自律性・目標指向性・時間的一貫性の 5 次元に分解して指標とベンチマークを棚卸しし、Benchmark Radar は 37 ソースから日次収集した 1,283 件のベンチマーク記録と 790 件に対する 12,916 の数値観測を検索可能なデータベースとして公開する。The Agent Incident Registry は視点を実害側へ移し、公開されたエージェント関連インシデントを因果的役割・開示区分・機構・帰結のラベル付きで台帳化した上で、InjecAgent のケースが 12 の攻撃面のうち 3 つしか占めないことを指摘する。測るための道具が一斉に作り直されている。
エージェントのハーネスと最適化
AgentGrad はマルチエージェント系のプロンプト最適化に介入を持ち込み、どのエージェントの指示が結果を動かしたのかを切り分ける。同じ「システム側を直す」発想は arXiv にも見える。Grounding Agent Memory は記憶のキュレータに最小権限の読み取り専用ツールを与えて候補記憶を環境に照会させ、CLBench で pass rate を 39% から 73% へ、質問あたりのクエリを 8.8 から 4.7 へ、タスクエージェントのコストを $3.38 から $1.68 へ動かす。Studying Without a Syllabus はさらに手前に遡り、タスク分布を知らないままエージェントが環境を「予習」して再利用可能な索引やスクリプトを作れるかを問う——学習予算を増やしても下流報酬は確実には伸びないが、所定のスコアに達するのに必要なテスト時サンプリングは減る。Decoupling Readiness from Release は実行基盤の側から、準備完了したターンを即座に投入する既定の方針が輻輳下で末尾レイテンシを膨らませることを示し、CVaR 目的での投入制御によって P95 を最大 3.50 倍改善する。
学習信号と効率化
Fork Where the Model Changes Its Mind は、木構造 RLVR において分岐をどこに置くかが得られる信用信号のほとんどを決めることを示し、その位置をモデルの解答信念が最も動く直前として特定した。効率化では X-AuT が音声 LLM のエンコーダ深度を、ブロック削除ではなく層の組み合わせ選択とクロススケール蒸留という形で削る。arXiv では Understanding LoRA Rank Trade-offs が CIFAR-10 上の制御実験でランク 4 が最良 FID（124.14）、ランク 8 がほぼ同等（124.21）で、それ以上のランクは適応コストに見合う改善を与えないことを報告し、Quantifying the Memorization-to-Generalization Transition は grokking の発生時刻を 384 設定にわたってべき則で当てはめ、データ複雑度（指数 −2.04）がモデル幅（−0.27）よりはるかに支配的であることを示す。いずれも、資源を増やす方向ではなくどこに置くかを問う研究である。
マルチモーダルと世界モデル
Studying Image Tokenizers は、画像トークナイザの評価を再構成品質から「テキストと同じ系列に並べたときの振る舞い」へ引き戻す。Memory as Plans は操作方策の記憶を言語要約でも視覚窓の拡張でもなく計画として保持し、非マルコフ的な長期タスクに向ける。検索側では MOSAIC が GraphRAG の探索方針をクエリ単位の制御問題として扱い、学習なしで固定方針を上回った——広さを一つに決めないという点で、記憶と探索の両方に共通する構えが見える。