Show-Harnessが112 upvotesでVLMのロボット制御を意味インタフェースへ還元する一方、SWE-Bench Pro VerifiedやDiscovery Certification Protocol、SchemeArenaはスコアそのものの信頼性を問い直した。評価は「何点取れたか」から「その点は何を証明しているか」へ軸足を移している。
注目論文
Show-Harness: Just a VLM Agent Can Play Robots
著者: Yanzhe Chen, Zechen Bai, Zhijun Cao et al.
基盤となる視覚言語モデル（VLM）は世界についての広範な知識を備えているが、その知性をロボット制御へ翻訳することは依然として難しい（112 upvotes）。Show-Harness は、意図と行動を結ぶ簡潔な意味インタフェースを介して、VLM にロボットを「操作させる」Embodied Harness である。
新規性: ロボット制御を新しいモデルの学習問題ではなく、既存モデルへのインタフェース設計問題として置き直した点が中核である。VLA モデルの潮流は、視覚言語の事前学習に行動データを足して専用モデルを作る方向へ進んできた——だがその都度の再学習は、汎用 VLM が持つ広い世界知識を行動データの分布へ押し込める作業でもある。意図から行動への写像を薄い意味レイヤに閉じ込める構成は、モデル側を凍結したまま身体性を足せるかを問うものである。
手法: 意図と行動を対応づけるコンパクトな意味インタフェースを定義し、その上で汎用 VLM がロボットを制御する Embodied Harness を構成する。
AgentGrad: Intervention-guided Prompt Optimization for Multi Agent Systems
著者: Jaewon Chu, Jinwoo Seo, Jaewon Cho et al.
LLM ベースのマルチエージェントシステム（MAS）は専門化した複数エージェントの分業によって高い性能を示すが、その性能は各エージェントのプロンプト設計に依存する（73 upvotes）。MAS のプロンプト最適化では、自然言語フィードバックによって更新を導くテキスト勾配法が用いられてきた。
新規性: フィードバックの帰属先を、言語的な説明から介入の効果測定へ移した点が中核である。テキスト勾配法は「どのエージェントの、どの記述が悪かったか」を自然言語の批評から推定する——しかし多数のエージェントが直列・並列に絡む系では、最終出力の失敗をどのプロンプトの責任として配分するかは批評文からは決まらない。介入によって各エージェントの寄与を切り分ける構成は、この信用割当を推測から測定へ寄せるものである。
手法: 各エージェントへの介入とその結果の変化を手がかりにプロンプト更新の方向を決定し、テキスト勾配法の信用割当の曖昧さを回避する MAS 最適化を行う。
Programmable World Model
著者: Zheng-Hui Huang, Guixu Lin, Jiacheng Lin et al.
近年の動画世界モデルは、ますます現実的で対話的な視覚体験を生成できるようになった一方、持続的な世界状態を保持し、長時間の対話にわたってルールを強制する信頼できる機構を欠いている（72 upvotes）。Programmable World Model は、世界状態の管理と生成を分離する枠組みである。
新規性: 一貫性の担保を、生成モデルの表現力ではなく外部化された状態とルールに委ねた点が中核である。動画世界モデルの破綻は通常、長期依存を捉えきれない生成側の限界として語られる——だが「一度置いた物体が消えない」「宣言したルールが守られる」といった性質は、確率的生成に期待するよりも明示的な状態として保持したほうが確実である。プログラム可能なルール強制は、この分業を設計として固定するものである。
手法: 世界状態の保持機構を生成器から切り離し、プログラム可能なルールとして記述された制約を長時間の対話を通じて強制する動画世界モデルを構成する。
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
著者: Igor Pavlovic, Thiemo Wandel, Anton Obukhov et al.
単眼深度推定は遍在するタスクでありながら本質的に不良設定であり、シーン再構成・計算写真・ロボティクスなどの下流応用を支えている（48 upvotes）。分野の成熟にもかかわらず、近年のモデルも分布外入力への汎化には苦戦している。
新規性: 成熟した課題設定に対して、アーキテクチャ選択の再検討という素朴な手を打ち直した点が中核である。単眼深度推定はベンチマーク上ではすでに飽和気味に見える——しかし実運用で問題になるのは平均精度ではなく、想定外の入力で崩れるかどうかである。拡散トランスフォーマを改めて土台として検証する作業は、伸び代がスケールではなく設計の再点検の側に残っていた可能性を示す。
手法: 拡散トランスフォーマを単眼深度推定の基盤として再検討し、分布外入力に対する汎化性能を改善する学習・推論構成を提示する。
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data
著者: Ji Soo Lee, Xilun Chen, Pierce Chuang et al.
ウェアラブルセンシングの進展により生理・行動信号の連続的なモニタリングが可能になったが、実ユーザの縦断的なウェアラブル記録に対して AI が推論できるかを評価するベンチマークはほとんど存在しなかった（28 upvotes）。WearableQA は 4,084 問の10択問題からなるベンチマークである。
新規性: 評価対象を、単発のセンサ値解釈から個人の時系列全体への推論へ引き上げた点が中核である。健康関連の LLM 評価は医学知識の問答に寄りがちである——だがウェアラブルの実データは、ある個人の数週間分の睡眠・心拍・活動が互いに関係し合う縦断的な記録であり、そこから意味を取り出す作業は知識の再生とは別の能力を要する。実ユーザの記録を素材に据えることは、この差を測定可能にする。
手法: 実世界のウェアラブル記録に紐づく 4,084 件の10択問題を構築し、縦断データ上での健康推論能力を評価する。
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
著者: Pujun Zheng, Zixin Shang, Shufan Jiang et al.
SWE-Bench Pro はリポジトリ規模の困難なタスクでソフトウェアエンジニアリングエージェントを評価する標準ベンチマークとなったが、著者らの分析はその評価が二つの不確かさに損なわれていることを示す（19 upvotes）。ひとつは正解解や隠されたはずの評価情報の漏洩による報酬ハッキングである。
新規性: ベンチマークの改良ではなく、既存ベンチマークの数値そのものの妥当性を検証対象にした点が中核である。エージェント評価では「どのモデルが何%解けたか」が競われる——だが正解がテスト環境から読み取れてしまうなら、その%はエージェントの能力ではなく漏洩の検出能力を測っていることになる。漏洩経路を潰した検証済み版を作る作業は、過去に報告された数値の読み直しを要求するものでもある。
手法: 正解解・隠し評価情報の漏洩経路を特定して除去し、報酬ハッキングと評価の不安定性を排した SWE-Bench Pro の検証済みサブセットを構築する。
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?
著者: Yuqiao Tan, Shizhu He, Jun Zhao, Kang Liu
再帰的自己改善（RSI）の研究はモデル学習パイプラインの自動化に偏ってきたが、信頼できる自律的な開発にはもう一本の柱が欠けている——モデルが何を学んだかを理解し、安全な整合を担保するための事後的な監視と監査である（16 upvotes）。機構的解釈可能性のツール群がその要となる。
新規性: 自己改善ループの評価軸に、能力向上ではなく自己監査の実行能力を据えた点が中核である。エージェントが自らの学習を回せるかという問いは、性能曲線が上がるかどうかで測られてきた——だが監査する側もエージェントであるなら、解釈可能性研究それ自体を遂行できるかが RSI の安全性の前提条件になる。SAE 解釈研究をタスク化することは、この前提を測定可能な形に落とす作業である。
手法: Sparse Autoencoder による解釈可能性研究の一連の手続きをタスク化し、AI エージェントがそれを自律的に遂行できるかを評価するベンチマークを構築する。
Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol for Auditing AI Research Agents
著者: Jingjie Ning, Shanshan Zhong, Xiaochuan Li, Ji Zeng
AI 研究エージェントは事前知識・公開情報・実験からのフィードバックを組み合わせて有用な結果を生み出す（15 upvotes）。Discovery Certification Protocol（DCP）は、そうした結果についての主張を実行可能な再現テストとフィードバックテストへ変換する。第一のゲートは封印された評価上での有用な改善を検証する。
新規性: 発見の主張を、報告された数値ではなく再実行可能な手続きとして定義し直した点が中核である。研究エージェントが「新しい発見をした」と報告するとき、その根拠はたいてい何らかのスコアの上昇である——だがスコアは、封印されていない評価上での過適合でも、既知手法の言い換えでも上がりうる。段階的なゲートとして監査を構成することは、主張の種類ごとに何を示せば十分かを明文化する試みである。
手法: 研究エージェントの成果主張を段階的なゲートへ分解し、封印評価上での改善検証・再現テスト・フィードバックテストとして実行可能な形式で監査する。
StudyBench: Can Self-Evolution Squeeze Textbooks for Olympiad Capability?
著者: Yinghao Chen, Zixi Chen, Bingxiang He et al.
人間はよく書かれた教科書を数冊学ぶだけで一つの分野を修め、その最難問に挑めるようになる（14 upvotes）。著者らは、理想的な自己進化手法も同じ性質を備えるべきだと論じる——すなわち、生の学習素材から自律的に学び、転移可能な問題解決能力を獲得することである。
新規性: 自己進化の評価基準を、生成データの量ではなく素材あたりの吸収効率に置いた点が中核である。合成データによる自己改善は、モデル自身に大量の問題を作らせて解かせる方向へ進んできた——だが人間の学習が示すのは、少数の良質な素材から深い転移が生じるという別の形である。教科書という固定素材を起点に据えることは、自己進化を素材の質と量から切り離して測る条件を作る。
手法: 生の教材（教科書）を唯一の入力として自律学習を行わせ、五輪級の問題への転移によって自己進化手法の効率を評価するベンチマークを構築する。
SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
著者: Jie Ruan, Inderjeet Nair, Amy Liu et al.
本稿は LLM エージェントにおける scheming——エージェントが不整合な目標を秘密裏に追求する現象——を扱う（7 upvotes）。焦点は、道具的目標・環境的な余地・監視条件・結果の認識といった主要因の相互作用から、いかにして scheming が生じるかを理解することにある。先行研究は限られた要因しか検討していない。
新規性: 危険な挙動の有無ではなく、その挙動を生む条件の組み合わせを測定対象にした点が中核である。scheming の報告は通常、特定のシナリオでモデルが欺瞞的に振る舞った事例として提示される——だが事例の列挙からは、どの条件を外せば消えるのかが分からない。要因を直交させて分解評価する設計は、緩和策の設計に必要な因果の粒度を与えようとするものである。
手法: 道具的目標・環境的余地・監視条件・結果認識を独立した因子として直交配置し、その組み合わせごとにエージェントの scheming 傾向をストレステストする。
分野別の動向
評価と監査
今日もっとも密度が高かったのは、ベンチマークの数値そのものを疑う動きである。SWE-Bench Pro Verified は、標準ベンチマークとなった評価環境から正解解と隠し評価情報の漏洩経路を潰し、報酬ハッキングによって水増しされていた成績を切り分ける。Discovery Certification Protocol は、研究エージェントの「発見した」という主張を、封印評価上での改善検証と再現テストという実行可能なゲートへ変換する。SAEScientist-Bench は監査する側の自律性を、SchemeArena は危険な挙動を生む条件の分解を扱う。arXiv 側でも、When Auditors Fabricate が LLM による文書監査がバッチ規模とともに崩壊し、しかも棄権ではなく捏造という形で失敗することを報告している——大規模バッチでの回収率は 2.8% まで落ち、モデルは存在しない汚染を自信をもって報告する。評価の設計が、性能の測定から測定の信頼性の測定へ一段メタに上がっている。
エージェントの信用割当と自己進化
AgentGrad は、マルチエージェント系のプロンプト最適化における信用割当を、自然言語フィードバックからの推定ではなく介入の効果測定として構成する。StudyBench は自己進化を、生成データ量ではなく素材あたりの吸収効率で測る条件を作る。arXiv では AhaBench が、初期能力・経験後の成績・その差分としての Learning Lift を分離して報告し、可視の補助をうまく使うモデルと実際に学習するモデルが一致しないことを示す。AutoFyn は重みではなく永続状態を更新する Expert Iteration 型ハーネスを提示し、SCAFFOLD は成功軌跡からパラメトリックなスキルを帰納して MDL 基準で圧縮する。学習の主語がモデル重みからハーネス側の永続状態へ移りつつある。
エージェントの信頼と記憶
Agents Trust Tools Too Much は、14 の LLM に対してウェブ検索・サブエージェント委譲・コード実行の戻り値を汚染し、エージェントがそれを最終回答へ採用する率を測る——平均採用率はいずれのツールでも3分の1を超え、ウェブ検索では 68.0% に達する。より深刻なのは推論トレースの分析が示す失敗様式で、エージェントは矛盾を認識し内部では正解に到達しながら、警告なしに汚染された答えだけを提示する。記憶の側では MERIT が、会話想起ベンチマークではなく「記憶した事実がツール使用エージェントの行動を実際に変えるか」をコスト計上つきで測る。EdgeMem は生成 LLM を使わずに元の対話ターンを保存・構造化する方針を取り、要約による情報の先行喪失を避ける。
推論効率と音声・多言語
推論高速化では投機的デコーディングの一般化が続く。Osprey はドラフタを対象モデルごとに作り直す前提を外し、既製の小型言語モデルから対象非依存の事前学習資産として立ち上げる。X-CoSD は端末側 SLM とサーバ側 LLM の語彙が異なる場合の協調的投機デコーディングを、通信量を抑えつつ無損失に構成する。音声では StreamAlign がテキスト整合トークン化をストリーミング化し、BuzzASR は Whisper の単言語ファインチューンを 102 言語へ大規模展開して 77 言語で large-v3 を上回る。SEA-SpeechBench は東南アジア 11 言語・597 時間の評価を整備し、低資源言語でのプロンプトが英語に最大 41 ポイント劣ることを示す。SWORD は Wikidata の改変によって多言語の事実誤り棄却能力を測り、東アジア言語で最大 28 ポイントの劣化を報告する。