マルチエージェントLLMの協調を二階層ゲームとして定式化するBilevel Coordinated Reflection、オープンソース最高水準の検索エージェントIris、80超のベンチを統一基盤へ移植したHarbor Adaptersが並んだ。作る側より測る側——評価の枠組みそのものを作り直す論文が集中した日となった。
注目論文
Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems
著者: Yihang Chen, Yuxiang Chen, Yuxuan Huang et al.
マルチエージェントLLMシステムは通常、オーケストレータがタスクをワーカ群へ分解し、テキストによる内省（reflection）を通じて改善していく構成を採る（92 upvotes）。経験的には強い結果が出ているものの、協調・記憶の改善・外部検証の役割を統一的に説明する枠組みは存在していなかった。著者らはオーケストレーションをゲーム理論の言葉でモデル化する。
新規性: 内省による改善という運用上のヒューリスティクスを、二階層のゲームとして形式化した点が中核である。現在のマルチエージェント構成では、なぜ協調が機能するのか、なぜ内省がスコアを上げるのかが結果からしか語れない——うまくいった構成は報告されるが、その構成が別のタスクで壊れる条件は誰も言えない。オーケストレータとワーカの関係を上位・下位のプレイヤとして置き直せば、協調・記憶・外部検証はそれぞれ独立した設計要素ではなく、同一の均衡構造から導かれる帰結として並べられる。
手法: オーケストレータとワーカの相互作用を二階層の協調問題として定式化し、テキスト内省による記憶改善と外部検証の寄与を同一の理論枠組みの中に位置づける。
Iris: Climbing to the Search Frontier
著者: Ziyuan Liu, Hengqi Liu, Zichuan Wang et al.
Iris-mini と Iris-pro は、それぞれ 35B-A3B と 397B-A17B のスケールで訓練された検索エージェントである（50 upvotes）。タスクはウェブコーパスのハイパーリンク構造から逆向きに構成される。シードページとその外部リンクから蒸留したエンティティグラフ上でマルチホップの連鎖を作り、答え以外のすべてのエンティティを説明的な参照へ書き換えることで、文字列一致では手がかりが解けないようにする。さらに、参照モデルがクローズドブックでは解けず、根拠を与えれば解けるものだけを採用する。
新規性: 訓練データの難易度を、人手のキュレーションではなくコーパスの構造と参照モデルの失敗によって定義した点が中核である。検索エージェントの評価では「検索が本当に必要な問題」を作ることが難しい——文字列一致で解けてしまえば検索能力ではなく暗記を測ることになり、逆に難しすぎれば学習信号が得られない。エンティティを説明的参照へ書き換える操作と、クローズドブック失敗・根拠あり成功という二重フィルタが、この境界を自動的に引く。加えて著者らは、推論時の文脈管理がベンチマーク上ではシステム間の差より大きく効くことを指摘し、すべてのベンチを文脈管理の有無の両方で評価している。
手法: SFTとRLを交互に繰り返す「SFT-RL climbing」を採る。RLはライブ検索に対して実行され、報酬判定器と観測要約器を訓練クラスタ内に配置し、長すぎるロールアウトはリクエスト単位で中断して次ステップでコミット済みプレフィクスから再開する。各RLラウンドで最も難しく効率的な成功ロールアウトを次の教師ありパスへ戻す。単一のReActエージェントのみで、サブエージェントもテスト時検証も用いない。BrowseComp / BrowseComp-ZH / DeepSearchQA / HLE で 82.2/84.8/86.9/52.3（mini）、88.6/85.1/92.9/56.4（pro）を達成し、それぞれのパラメータ帯におけるオープンソース検索エージェントの最高水準となる。重みとレシピを公開予定。
Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation
著者: Lin Shi, Haowei Lin, Zixuan Zhu et al.
増え続けるエージェント系ベンチマークでの評価は、複雑な環境構築とエージェント側の統合をそれぞれ要求するため実行が難しい。Harbor Adapters は、80以上のベンチマークを任意のエージェントで評価できる形へ移植した統一評価基盤である。厳密なコードレビューとパリティ実験によって移植の妥当性を検証している。
新規性: ベンチマークの新規提案ではなく、既存ベンチ群を横断的に走らせるインフラそのものを成果物として置いた点が中核である。エージェント評価では、報告されるスコアがモデルの能力なのかハーネスの実装なのかを外から切り分けられない——各ベンチが独自の環境と統合を要求する限り、比較は常に構成の違いに汚染される。ツールセットとハーネスを固定して8モデル×54ベンチを実測できる基盤は、この汚染を分離可能にする。加えて、難易度フィルタとAI・人手による監査、修正ループを経て29ベンチから82タスクを厳選した Harbor-Index は、大規模評価の難度と多様性を保ちつつ実行コストを現実的な範囲へ落とす。
手法: 80以上のベンチマークにアダプタを実装し、8モデルを Terminus-2 と3つのネイティブハーネスのいずれかで54ベンチにわたり評価する。Harbor-Index では、評価したどのモデル×ハーネス構成も30%の pass rate を超えず、最強の GPT-5.5 + Codex で28.0%に留まる。アダプタ、評価結果、分析、Harbor-Index はオープンソースとして公開。
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
著者: Chengqian Ma, Wei Tao, Haoyu Zhang, Yiwen Guo
会話するアバターは、何を話すかと話しながらどう動くかを同時に決める必要があるが、この二つの能力は別々のモデル族に属している（35 upvotes）。音声対話モデルはモーションなしの発話を生成し、共発話モーションモデルは渡された音声からモーションのみを生成する。標準的な解決策は両者をカスケードすることである。
新規性: 発話生成とモーション生成を、順に繋ぐのではなく同一のエンドツーエンド過程として扱った点が中核である。カスケード構成では、モーション側は発話の音響信号しか受け取らない——何を言うつもりでその発話が選ばれたのかという意図は、音声へ変換された時点で落ちている。話す内容の決定とその内容に伴う身体動作は、本来同じ決定の二つの出力である。両者を共同生成する構成は、この分離をアーキテクチャの側で解消しにいくものである。
手法: 音声対話とフルボディモーションを単一のエンドツーエンドモデルで同時生成し、音声モデルとモーションモデルのカスケードを置き換える。
Last Translation Benchmark
著者: Vilém Zouhar, Niyati Bafna, Mukund Choudhary et al.（200名超）
科学的な進展のためには、最先端モデルの限界を突くベンチマークと、失敗ケースを教えてくれる評価手法が必要である（30 upvotes）。しかしモデルが強くなるにつれ、機械翻訳の標準的なベンチマークは飽和に近づいており、加えて自動翻訳評価指標そのものが信頼できなくなっている。
新規性: ベンチマークの飽和と評価指標の不信頼という二つの問題を、同時に扱う対象として置いた点が中核である。翻訳品質が上がると、スコアの頭打ちは能力の頭打ちなのか測定の頭打ちなのか判別できなくなる——新しいテストセットを作っても、それを採点する指標が壊れていれば飽和は解消しない。200名を超える研究者が参加する規模は、多言語にわたる難例の収集と人手評価を同時に成立させるための構成でもある。
手法: 最先端モデルが失敗する難例を多言語にわたって構築し、失敗要因を診断できる評価手法と組み合わせた翻訳評価基盤を整備する。
RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests
著者: Gyuhyeong Kim, Hyojung Gwon, Jeonghyeon Kim et al.
コーディングエージェントは現在 SWE-bench 系のベンチマークで評価されるのが通例だが、それらのタスクはキュレーションされた GitHub issue から作られており、長く、構造化され、情報量が豊富である（29 upvotes）。一方、実際のユーザ要求ははるかに短く、構造を欠く。著者らはこのギャップを特徴づけるため、情報量を6カテゴリの軸へ分解する。
新規性: 評価入力の「情報量」を独立した変数として切り出した点が中核である。SWE-bench でのスコアは、エージェントがコードを直せることと、与えられた issue が十分に整っていることの積になっている——現場でエージェントが失敗するとき、それがコード理解の失敗なのか要求の不足なのかを、既存ベンチは区別しない。要求の情報量を段階的に落とせる構成にすれば、この二つを分けて測れる。
手法: 実ユーザ要求の情報量を6カテゴリへ分解し、各カテゴリの情報の有無を組み合わせた構成的（compositional）な評価セットを作り、コーディングエージェントの性能が情報量のどの次元に依存しているかを測定する。
PACE: Towards Surfacing Hidden Conflicts in User Requests
著者: Yoojin Kim, Jihyoung Jang, Hyounghun Kim
パーソナライズされたアシスタントは、ユーザの要求に従うだけでなく、その要求がユーザの現在の状況に照らして適切かどうかを判断すべきである（23 upvotes）。しかし既存研究は要求を正確に実行することへ集中しており、アシスタントが文脈を踏まえる必要性は見過ごされてきた。
新規性: 評価対象を「指示の実行精度」から「要求そのものの適切さの判定」へ移した点が中核である。要求に忠実であることは、ユーザの利益に忠実であることと一致しない場合がある——ユーザの状況と要求内容が食い違っているとき、忠実に実行するアシスタントはその矛盾を黙って通してしまう。矛盾を表面化させる能力は、実行精度をいくら上げても測れない別の軸である。同日には、視覚言語モデルが不正確・危険・実行不能・回答不能な要求へどう応じるかをクエリ全体ではなく部分単位で評価する Knowing What Not to Answer も並んでいる。
手法: ユーザの状況と要求の間に潜む矛盾を検出し表面化させる能力を評価する枠組みを構成する。
Enoki: Efficient Multi-Level Hallucination Detection
著者: Elisei Rykov, Timur Ionov, Nikolay Ivanov et al.
高リスク領域でLLMを運用する上で、事実性の担保は依然として重要な課題である（16 upvotes）。既存の幻覚検出器は通常、単一のレベルで動作する。クレーム単位の手法は解釈可能な事実の単位を提供し、スパン単位の手法は根拠のないテキストを局在化する。この二つの視点を橋渡しするのはコストが高い。
新規性: 分断されていた二つの粒度を、どちらかを選ぶのではなく効率的に接続した点が中核である。クレーム単位の出力は「何が誤りか」を説明できるが、その誤りが本文のどこにあるかは指さない——逆にスパン単位は位置を指すが、何の事実が破綻しているかを言わない。運用側が必要とするのは両方であり、しかし両方を独立に走らせればコストは倍になる。
手法: クレーム単位とスパン単位の幻覚検出を統合したマルチレベル検出器を構成し、両粒度の出力を効率的に得る。
Don’t Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference
著者: Mostafa Elhoushi, Alex Pretko, Nolan Dey et al.
layer dropout（stochastic depth）は、言語モデルと視覚Transformerの双方で、訓練の高速化・精度向上・zero-shot層プルーニングへの頑健性をもたらすことが示されてきた（14 upvotes）。しかしモデルとデータセットが大規模化するにつれ、dropout——特に layer dropout——は大規模訓練からほぼ姿を消した。
新規性: 規模の拡大とともに惰性で捨てられた技法を、現在のスケールで測り直した点が中核である。dropout が消えたのは、大規模データでは過学習が主要な問題でなくなったからだと説明されてきた——だが layer dropout がもたらす価値は正則化だけではなく、訓練の高速化と、層を落としても壊れない構造の獲得を含んでいる。過学習抑制という一つの理由で退場させると、残りの二つも同時に失われる。
手法: 層疎性（layer sparsity）の設定を最適化する形で layer dropout を再導入し、訓練効率と推論時の層プルーニング耐性を両立させる。
Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
著者: Seogyeong Jeong, Jaehui Hwang, Dongyoon Han et al.
大規模言語モデルにおける推論は、問題の定式化・目標の分解・演繹といった多様な機能的操作を通じて展開される（10 upvotes）。これらの操作はテキスト上では明示的に区別されるが、表現空間の中で幾何学的にどう組織されているかはほとんど分かっていない。
新規性: chain-of-thought を、生成されたテキストの性質としてではなく表現空間の構造として読み直した点が中核である。推論ステップの分類はこれまで出力テキストのラベリングで行われてきた——だがテキスト上で別々の操作に見えるものが、モデル内部でも別々に実装されているとは限らない。表現空間での幾何的配置を調べることは、CoTの分節が表層の書式なのか内部の計算構造なのかを問うことに等しい。
手法: 推論操作の種類ごとに表現を取り出し、表現空間における幾何学的な組織化を機械論的解釈（mechanistic interpretation）の手法で解析する。
分野別の動向
エージェント評価の基盤づくり
今日の上位は、新しいエージェントを作る論文より、エージェントをどう測るかを作り直す論文に偏った。Harbor Adapters は80超のベンチマークを統一基盤へ移植し、ツールセットとハーネスを固定した上で8モデル×54ベンチを実測する。ここで得られる主張は個々のスコアではなく、報告値のうちどこまでがモデルの能力でどこからがハーネスの実装かを分離できるという性質そのものである。厳選82タスクの Harbor-Index で最強構成の GPT-5.5 + Codex が28.0%に留まるという数字は、飽和していない評価軸がまだ残っていることを示す。RealSWE は同じ問題をコーディングエージェントに絞って扱い、SWE-bench の整った issue と実際の短く曖昧なユーザ要求とのギャップを情報量の6カテゴリへ分解する。Last Translation Benchmark は翻訳分野で、ベンチマークの飽和と自動指標の不信頼を同時に扱う。いずれも「評価入力の性質」を独立変数として切り出す方向で一致している。
マルチエージェントと検索エージェント
Bilevel Coordinated Reflection は、経験則として運用されてきたオーケストレータ・ワーカ型の協調と内省を二階層ゲームとして形式化し、協調・記憶改善・外部検証を同一の均衡構造から導く。実装レシピの寄せ集めだったマルチエージェント設計に、なぜ機能するのかを説明する側の言葉を与える試みである。Iris はスケールの側から同じ領域に接近し、SFTとRLの交互反復でオープンソース検索エージェントの最高水準を更新した。注目すべきは、サブエージェントもテスト時検証も使わない単一 ReAct 構成でそこへ届いている点、そして推論時の文脈管理がシステム間の差より大きく効くとして全ベンチを管理の有無で二重に報告している点である。前者は Bilevel の理論的整理と対照的な結論を示唆し、後者は Harbor Adapters と同じ「評価条件を固定しないと比較が成立しない」という認識を共有している。
アライメントと信頼性
PACE は、要求を正確に実行することではなく、要求そのものがユーザの状況に照らして適切かを判定する能力を評価軸として立てる。同じ研究グループからは、視覚言語モデルの非遵守をクエリ全体ではなく部分単位で評価する Knowing What Not to Answer、安全チューニングされた応答の構造を分析して過剰拒否を減らす Refuse without Refusal も同時に出ており、「拒否するかどうか」の二値から「どこをどう拒否するか」への分解が共通の方向として見える。Enoki は事実性の側から同じ粒度の問題を扱い、クレーム単位の解釈性とスパン単位の局在化という分断された二視点を効率的に橋渡しする。
効率化と内部構造の理解
Don’t Drop Dropout は、大規模化の過程で惰性的に捨てられた layer dropout を現在のスケールで測り直し、訓練高速化・精度・zero-shot層プルーニング耐性を層疎性の最適化として両立させる。Beneath the Surface of Chains-of-Thought は逆に内部表現の側へ降り、問題定式化・目標分解・演繹といった推論操作が表現空間でどう幾何的に配置されるかを解析する。CoTの分節がテキスト上の書式なのかモデル内部の計算構造なのかという問いは、推論モデルの効率化がどこを削れるかという実務的な問いと直結している。