科学ソフトウェアの修正課題でコーディングエージェントを測るSWE-bench Scienceが61 upvotesで首位。極大規模MoEのハイパーパラメータ転移、時間方向の信頼度で並列推論を打ち切るParaTempo、ワークフローとスキルを共進化させるFlowEvoが続き、評価の現実性と学習・推論コストの両面に関心が集まった一日となった。
注目論文
SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
著者: Zhipeng Xu, Jiahao Lu, Yining Zheng et al.
ソフトウェアは科学的な計測装置の一部として機能するようになっており、科学コードの不具合はプログラムの挙動だけでなく、科学的結論を支える証拠そのものを損ないうる（61 upvotes）。しかし既存のコーディングエージェント評価は、タスク成功率の集計値を重視する傾向にある。
新規性: コーディングエージェントの失敗コストを、ソフトウェアの品質ではなく科学的主張の妥当性の側から測り直した点が中核である。通常のSWE-benchでは、テストが通れば成功、落ちれば失敗という切り分けで十分機能する。だが科学計算では、クラッシュせず数値も出力されるが物理的・統計的に誤っている、という失敗が最も厄介であり、その誤りは論文の結論として世に出るまで検出されない。科学ドメインの工学課題を対象に据えることは、集計スコアだけでは見えない失敗の質を評価に持ち込む試みであり、AI for Scienceの実運用を前提にした評価設計と言える。
手法: 科学ソフトウェアのエンジニアリング課題を対象に、コーディングエージェントの解決能力を評価するベンチマークを構築する。集計的なタスク成功率に留まらない評価の枠組みを与える。
Let’s Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts
著者: Nayeon Kim, Hojin Lee, Yunju Bak et al.
Mixture-of-Experts（MoE）アーキテクチャは、計算コストを比例的に増やすことなくモデル容量を大きく拡張できる（32 upvotes）。しかしそのハイパーパラメータ、とりわけ学習率を、モデルサイズとトークン予算の両方が極大規模になる領域でスイープによって最適化することは、計算量の面で現実的でない。
新規性: MoEのスケーリングにおける実務上の律速を、アーキテクチャでも並列化でもなく「探索できないハイパーパラメータ」に置いた点が中核である。密なTransformerではμP系の転移則が確立しつつあるが、MoEはエキスパート数・活性化幅・ルーティングという軸が加わり、モデルサイズとトークン予算の二方向に同時に伸ばすと小規模での最適値がそのまま外挿できない。段階的にスケールさせながら転移させるという設計は、一度きりの大規模学習で失敗が許されない状況において、事前に妥当な学習率へ到達するための計算効率的な手続きを与える。
手法: モデルサイズとトークン予算の双方が極大規模になる領域に対し、スイープを回さずに学習率などのハイパーパラメータを段階的に転移させる手続きを構築する。
Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence
著者: Yuyuan Feng, Zhishang Xiang, Chaobin Yang et al.
LLMは言語生成器から、複雑で長期的なタスクを遂行する自律エージェントへと進化してきた（30 upvotes）。この過程で、モデルの能力を引き出すPrompt Engineering、情報アクセスを管理するContext Engineering、外部ツールを組織するHarness Engineeringといったパラダイムが生まれてきた。
新規性: エージェント研究の系譜を「何を設計対象としてきたか」の推移として整理し、その次の対象としてグラフ構造を位置づけた点が中核である。プロンプト→コンテキスト→ハーネスという流れは、いずれも単一エージェントの能力を引き出す方向の設計だった。これに対しグラフ工学は、エージェント・ツール・知識・状態の関係そのものを設計対象とし、個の知能（individual intelligence）から系の知能（system intelligence）へ視点を移す。30名を超える著者による大規模サーベイであり、エージェント研究の断片化した語彙を一つの座標系に載せ直す試みとして参照価値が高い。
手法: Prompt / Context / Harness Engineeringの系譜を整理したうえで、グラフ構造による系全体の知能設計をその延長に位置づけるサーベイを構成する。
ParaTempo: Efficient Parallel Reasoning via Temporal Confidence
著者: Xuteng Zhang, Wenhao Zeng, Xiaodong Gu et al.
並列推論は複数の解法経路を探索することで大規模推論モデルの精度と頑健性を高めるが、その計算コストは推論の深さと分岐数に比例して増大する（26 upvotes）。既存の経路管理手法は、最終解の合意（consensus）やローカルなトークン信頼度に依存するのが一般的である。
新規性: 並列推論の枝刈り判断を、空間方向（経路間の一致）でも局所（トークン単位の確信度）でもなく、時間方向の信頼度推移に置いた点が中核である。最終解の多数決は、全経路を最後まで走らせて初めて判定できるため打ち切りには使えない。一方トークン単位の信頼度は局所的すぎて、一時的に確信度が下がるだけの正しい経路まで切ってしまう。推論が進むにつれて信頼度がどう変化したかという軌跡を見る設計は、この二つの中間にある粒度を取りにいくもので、深い推論ほど費用対効果が効く。
手法: 各推論経路の信頼度の時間的推移を指標として、有望でない分岐を早期に打ち切る並列推論の制御機構を導入する。
OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs
著者: Xianyun Sun, Chaoyou Fu, Zhengye Zhang et al.
近年のオムニモーダル大規模言語モデル（Omni-LLM）は、環境を継続的に知覚しユーザーを目標達成へ導くリアルタイム動画アシスタントとして大きな可能性を示している（26 upvotes）。従来の受動的な動画理解とは異なり、対話的なアシスタントは視覚的な状態とユーザーの状況を能動的に結びつける必要がある。
新規性: 動画理解の評価を、「見たものを説明できるか」から「見ながら適切に介入できるか」へ移した点が中核である。既存の動画QAベンチマークは録画済みの動画に対する事後的な質問応答であり、モデルが黙っているべき場面と口を挟むべき場面を区別する能力を一切測らない。リアルタイムに状態を追いながら能動的にユーザーを誘導するという設定は、タイミングの適切さや状況把握の継続性といった、静的な正答率では表せない次元を評価に持ち込む。
手法: 視覚的状態とユーザーの状況を能動的に統合し、目標達成へ誘導するアシスタント型の相互作用を対象とするベンチマークを構築する。
ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models
著者: Xinye Li, Lingshuai Lin, Lei Wang et al.
行動条件付き動画世界モデルには、低遅延な因果的生成と、ゲーム由来の操作入力への信頼できる応答が要求される（23 upvotes）。因果蒸留によって1〜数ステップの動画合成は可能になっているが、離散的なキーボード状態と連続的な操作が混在する対話的世界モデルへの拡張は依然として難しい。
新規性: 少ステップ生成の高速化と、制御信号への忠実な応答という二つの要求が衝突する点を正面から扱っている。動画拡散の蒸留はステップ数を削るほど出力が平均化され、入力操作に対する応答の鋭さが失われやすい。加えてゲーム的な制御は、押した／押していないという離散状態と、視点移動のような連続量が同時に入るため、単一の条件付け機構では両方を正しく扱いにくい。段階的な因果訓練という設計は、蒸留を一気に行わず因果性を保ちながら詰めていくもので、対話的な世界モデルの実時間動作に必要な条件を整える。
手法: 段階的な因果訓練により、離散的なキー入力と連続的な操作の双方に応答する少ステップの行動条件付き動画世界モデルを構築する。
Repo0: Design-Driven Zero-to-All Code Generation
著者: Silin Chen, Haoyi Teng, Xiaodong Gu et al.
LLMエージェントはコード生成において大きく進歩したが、既存のシステムの多くはリポジトリのアーキテクチャが事前に定義されていることを前提としている（18 upvotes）。この前提は、自然言語の記述からソフトウェアプロジェクト全体を構築する「ゼロtoオール」のコード生成では成り立たない。
新規性: コード生成エージェントに残された未解決部分を、実装能力ではなく設計判断の側に切り分けた点が中核である。SWE-bench系のタスクは既存リポジトリの構造・依存関係・慣習が所与であり、エージェントは局所的な修正に集中できる。ゼロから作る場合、モジュール分割・依存の方向・インターフェース境界といった、後戻りコストの高い決定を最初に下す必要があり、ここを誤ると個々のファイルがどれだけ正しく書けても破綻する。設計駆動という枠組みは、生成を実装から始めず設計の生成から始めることでこの順序を明示する。
手法: 自然言語記述から設計を明示的に生成し、それを駆動源としてプロジェクト全体のコードを構築する枠組みを提案する。既存リポジトリ構造を前提としない。
FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills
著者: Zeyu Ren, Ling Yue, Ran Li et al.
LLMエージェントは推論時にワークフローを構築することで複雑なタスクに適応できるが、あるエピソードで発見した手順は実行後に通常そのまま捨てられる（16 upvotes）。既存のスキルライブラリは再利用可能な実行可能ルーチンを提供するものの、多くはオフラインで組み立てられ、実際の実行から育っていかない。
新規性: エージェントの経験蓄積を、ワークフロー（手順）とスキル（実行可能な部品）の二層の共進化として定式化した点が中核である。ワークフローだけを貯めると具体的な実行手段を伴わない抽象的な記述が残り、スキルだけを貯めると個々の部品をどう組むかの知識が失われる。両者を同時に更新する設計は、推論時に見つかった手順を実行可能な形へ凝固させ、その部品が次のワークフロー構築を助けるというループを閉じるものである。前日のEnvHarnessやSkillEvoが環境・スキルの供給側を扱ったのと合わせ、エージェント改善の対象が重みの外側へ広がり続けていることを示す。
手法: 推論時に構築したワークフローを破棄せず、実行可能スキルと相互に更新し合う形で蓄積する自己進化エージェントの枠組みを構築する。
Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models
著者: Zhaoyi Li, Deyang Kong, Yuan Wei et al.
オンポリシー蒸留（OPD）は、生徒モデル自身の方策からサンプリングした軌跡に対して教師が監督を与えることで教師の能力を移すが、その汎化挙動はよく理解されていない（14 upvotes）。既存研究の多くは単一ドメイン、かつ訓練データに近いベンチマークでOPDを評価しているためである。
新規性: OPDの評価設定に潜む選択バイアスを問題として立てた点が中核である。生徒自身の出力分布上で蒸留する以上、その分布が覆う範囲の内側では強く効き、外側では別の挙動を示すことが予想される。単一ドメイン・訓練データ近傍という評価では、この境界の内側しか観測されない。複数ドメインかつ訓練分布から離れたベンチマークで統制的に検証し、汎化に二面性があることを示す構成は、OPDを「無条件に良い蒸留手法」として採用する運用に対する実証的な注意喚起となる。
手法: 複数ドメインおよび訓練データから離れたベンチマークを含む統制的な設定でオンポリシー蒸留を評価し、その汎化挙動の二面性を分析する。
The Embedder’s Dilemma: LLMs Are Better, but at What Cost?
著者: Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee
テキスト埋め込みのパイプラインをLLMに置き換えるべきか、という実務的な問いに正面から答える（13 upvotes）。6つのファミリーにまたがる10種のLLMと、118Mから14Bまでの26の埋め込みモデルを、分類・意味的類似度（STS）・クラスタリングなどを含む37タスクで統制的かつコストを考慮して比較する。
新規性: 埋め込みモデルの評価を、精度の順位表からコストとの同時最適化へ引き戻した点が中核である。MTEB系のリーダーボードでは大きなモデルほど上位に来るため、スコアだけを見れば置き換えは常に正当化されうる。しかし埋め込みは検索・推薦・重複排除といったコーパス全体に適用される用途が中心で、1件あたりのコスト差がそのまま総量に掛かる——推論コストの重みが生成タスクとは根本的に異なる。118Mから14Bまでという広いパラメータ帯を同一タスク集合で比較する構成は、この帯域のどこに実用的な折り返し点があるかを示す実務向けの資料となる。
手法: 10種のLLMと26の埋め込みモデルを37タスクで統制的に比較し、精度と推論コストを同時に考慮した評価を行う。
分野別の動向
評価の現実性——集計スコアから「失敗の質」へ
上位に並んだのは、能力を高める研究より、能力の測り方を問い直す研究である。首位のSWE-bench Science（61 upvotes）は、科学ソフトウェアの不具合が科学的結論を支える証拠そのものを損なうと指摘し、既存評価が集計的な成功率に偏っている点を問題視する。OmniAssistBench（26 upvotes）は、録画動画への事後的な質問応答ではなく、リアルタイムに状態を追いながらユーザーを能動的に誘導する設定を評価対象に据える。同日のHugging Face Daily Papersに載ったQuoteBench（7 upvotes）も、コーディングエージェントが発行するBashコマンドについて、実行スコアが一致していてもコマンド生成の誤りと生成後のシリアライズ・再パースで混入する失敗を区別できないと指摘する。前日のFACETやSemaPLCが検証器の整合性を扱ったのと合わせ、「何を成功と呼ぶか」の定義そのものが研究対象になっている。
学習・推論コストを削る三つの層
コスト削減の対象が、訓練前・推論中・運用時の三層に分かれて現れた。訓練前ではLet’s Scale Step by Step（32 upvotes）が、極大規模MoEで学習率のスイープが現実的でない問題に対し、段階的なハイパーパラメータ転移で一発勝負の大規模学習を成立させにいく。推論中ではParaTempo（26 upvotes）が、時間方向の信頼度で並列推論の枝を打ち切り、深さと分岐数に比例して膨らむコストを抑える。運用時ではThe Embedder’s Dilemma（13 upvotes）が、埋め込みパイプラインのLLM置き換えを精度単独ではなくコスト込みで検証する。arXivでもSelf-Speculation for Reasoning Modelsが部分CoTを下書き、完全CoTを検証器として同一モデル内で投機デコーディングを行い、最大24.1%の生成遅延削減を報告するなど、長い推論トレースを前提とした遅延削減が層をなして進んでいる。
エージェントの改善対象は重みの外側へ
FlowEvo（16 upvotes）は、推論時に発見したワークフローを捨てず実行可能スキルと共進化させ、Repo0（18 upvotes）はリポジトリ構造を所与とせず設計そのものの生成から始める。Graph Engineeringのサーベイ（30 upvotes）は、Prompt / Context / Harness Engineeringという系譜の先にグラフ構造による系全体の知能を位置づけ、この拡散に座標系を与えようとする。arXivのTerminal Agents: A Survey of AI Agents in Command-Line Environmentsも、実現される挙動がモデル・インターフェース・ハーネス・ランタイム・環境の共同作用で決まると整理しており、モデル単体を改善対象とする見方から離れつつある点で一致している。
検証・監査を成立させるための実証
信頼性まわりでは、直感に反する否定的結果が目を引く。arXivのOpen-Weight Masked Introspectionは、7ファミリー8種のオープンウェイトモデルに自身の計算が改変されたかを問う7.8万件超の測定を行い、報告が偽の介入と本物の介入を偶然以上に区別できない（AUROC 約0.5007）ことを示した。一方で線形プローブは同じ活性化から介入の有無を75〜95.8%の精度で復元でき、必要な情報はモデル内部に存在するが内部状態から言語報告への経路が失敗している、と結論づける。モデル自身の申告に依拠する監督は内部参照との突き合わせを要するという指摘であり、Multilingual Verifier Bias in RLVRが完全一致検証器の偽陰性率を言語ごとに監査すべきと論じるのと同じく、検証系そのものを疑う手続きの整備が進んでいる。