LLM/NLP最新論文

世界モデルのロールアウトを推論付きで評価するHarnessEval-Wが110 upvotesで首位。モデルではなく実行系(ハーネス)をスケールしてTerminal-Bench 2.1で95.3%を出したStateMが90 upvotesで続き、モデル本体より「その周りの実行・評価basis」を作る論文が上位を占めた。

注目度

注目論文

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

著者: Weiliang Chen, Haowen Sun, Jun Gao et al.

ベンチマークはスカラー値以上のものを返すべきである、というのが本論文の出発点である(110 upvotes)。評価を信頼できるものにするのはスコアそのものではなく、そのスコアを正当化する推論だからである。とりわけ世界モデルの評価では、ロールアウトの良し悪しを判断するために、物理・因果関係・世界状態が正しく遷移しているかを理解する必要がある。

新規性: 評価器そのものをエージェント化した点が中核である。人間は破綻した物理や因果の矛盾を見つけたとき「どこがおかしいか」を言語化できるが、既存の自動評価は単一スコアに潰してしまうためその情報が失われる。世界モデルは生成品質が上がるほど破綻箇所が局所的・状態依存的になり、総合スコアでは差がつかなくなる。判断根拠を伴う評価を機械側で再現しようという設計は、この飽和に対する自然な応答である。この日の最高得点であり、世界モデル研究の関心が生成能力から「生成物を検分する能力」へ移っていることを示す。

手法: 世界モデルのロールアウトに対し、物理・因果・世界状態の整合性をエージェント的な推論プロセスで検証し、スコアとその根拠となる推論を同時に出力する評価フレームワークを構成する。

Hugging Face Daily Papers

StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling

著者: Ziheng Qin, Yaxin Lu, Zhangyang Atlas Wang, Kai Wang

長期ホライズンのエージェントは、構成要素である各ステップを個別には解ける場合でも、全体としては失敗しうる(90 upvotes)。可変な状態を見失う、以前の実行から得た教訓を再活性化できない、既知の手順を飛ばす、あるいは途中で止まってしまう、といった形で崩れる。

新規性: 改善対象をモデルではなくハーネス(エージェントを取り囲む実行系)に賭けた点が中核である。長期タスクの失敗はしばしばモデル能力の不足として語られるが、本論文が列挙する失敗様式はいずれも「状態管理と手順の再利用」という実行系側の問題である。同じモデルのままハーネスをスケールさせてTerminal-Bench 2.1で95.3%の素点、あるいは15ドルでのフロンティア級実行という結果は、この切り分けが実効的であることの主張になっている。同日のClawGym IIがハーネス上でのRLを扱っており、ハーネスが「所与の足場」から「最適化対象」へ移りつつある。

手法: 可変状態の追跡、過去実行からの教訓の再活性化、既知手順の実行、停止判断といった要素をエージェントの周辺実行系として強化し、モデル側を変えずに長期ホライズン性能を引き上げる。

Hugging Face Daily Papers

VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

著者: Yansong Ning, Jingwen Ye, Zhongkai Wu et al.

ユーザーのクエリから対話可能な3Dオープンワールドを構築することは重要な課題である(51 upvotes)。しかし既存手法は理想化された単純なクエリで評価されており、マルチモーダルエージェントがユーザー意図をどう理解し、3Dツールをどう使い、テキストと視覚の情報をどう横断して推論するのかを体系的に分析・比較することが難しい。

新規性: 評価の入力側を「理想化されたクエリ」から現実的な曖昧さを含むものへ引き上げた点が中核である。3D生成の研究は出力品質で競われがちだが、実際の利用では入力が不完全であり、意図の解釈・ツール選択・情報統合という上流の過程が結果を左右する。この過程を切り分けて測れるようにしなければ、エージェント設計のどこを直せばよいかが特定できない。HarnessEval-Wが世界モデルの出力検分を扱うのに対し、こちらは構築過程を扱っており、同日の二本で世界構築の入口と出口が揃った形になっている。

手法: 現実的で曖昧さを含むユーザークエリを対象に、マルチモーダルエージェントによる3Dオープンワールドの端から端までの構築を、意図理解・3Dツール利用・テキスト/視覚横断推論の観点で評価する枠組みを構成する。

Hugging Face Daily Papers

著者: Zhongwei Yu, Yan Song, Xue Yan et al.

科学的発見はしばしば、分子・タンパク質配列・コンピュータプログラムのような広大で構造化された開放的仮説空間の上で、評価コストの高い目的関数を最適化する営みとして現れる(49 upvotes)。大規模言語モデルのような生成モデルはこうした空間上の表現力ある事前分布を与えるが、それだけでは探索として成立しない。

新規性: 生成モデルを「事前分布」として位置づけ直し、その上にモデルベース探索を載せた点が中核である。LLMに直接候補を出させる手法は仮説空間の広さには対応できるが、評価が高コストな目的関数のもとでは試行回数が制約になる。事前分布と探索方策を分離すれば、生成モデルの表現力を保ちながら評価回数の配分を制御できる。同日のApodex Discovery系の議論と同様、「解答能力」から「発見の遂行能力」へ関心が移っている流れに乗る一本である。

手法: 生成モデルが与える開放的仮説空間上の事前分布を利用しつつ、経験的に根拠づけられたモデルベースの探索によって、評価コストの高い目的関数の最適化を行う枠組みを提示する。

Hugging Face Daily Papers

Learn What’s Left, Not What’s Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization

著者: Yixuan Wang, Yifei Chen, Haichao Zhang et al.

グループ相対的なアドバンテージを用いる強化学習は、言語モデルの推論能力を鍛える事後学習の事実上の標準となっている(44 upvotes)。しかし複数の報酬目的を同時に最適化しようとすると、既存手法は典型的にグループ単位の標準化の前に報酬ベクトルを固定の重み付き和でスカラー化してしまう。

新規性: 報酬の「飽和」を検出可能な状態として扱い、学習資源を未習得の目的へ再配分する点が中核である。固定重みのスカラー化では、既に上限近くまで達した目的も未達の目的も同じ重みで混ざり続けるため、勾配の多くが既習得分に費やされる。タイトルの「習得済みではなく残りを学べ」がそのまま設計原理になっており、複数報酬という実運用でほぼ避けられない設定に対する具体的な処方になっている。

手法: 報酬ごとの飽和状態を検出し、グループ相対アドバンテージの重みを未飽和の目的へ動的に再配分することで、固定重み和によるスカラー化の弊害を回避する。

Hugging Face Daily Papers

MOSS-VL Technical Report

著者: Pengyu Wang, Chenkun Tan, Shaojun Zhou et al.

MOSS-VLは、リアルタイム対話——話しながら見ること——を第一級の能力として扱うオープンな視覚言語モデル族である(38 upvotes)。言語デコーダはゲート付きクロスアテンションを通じてのみ視覚を参照する構成になっており、モデルは発話中でも自然に入力を見続けられる。

新規性: リアルタイム性を後付けの推論最適化ではなくアーキテクチャ制約として引き受けた点が中核である。一般的な視覚言語モデルは視覚トークンを言語系列に結合するため、発話開始後に新たな視覚入力を取り込むのが構造的に難しい。クロスアテンション経由に限定しゲートで制御する構成は、視覚と言語の時間軸を分離し、応答生成中の視覚更新を可能にする。スタック横断の共同設計としてこれを実現し、かつオープンに公開している点が実務的な価値になる。

手法: 言語デコーダがゲート付きクロスアテンションを介してのみ視覚に接続する構成をとり、発話しながらの視覚知覚を可能にする視覚言語モデル族をスタック全体で共同設計する。

Hugging Face Daily Papers

ClawGym II: Exploring Black-Box RL on Agent Harness

著者: Huatong Song, Fei Bai, Ming Yang et al.

エージェントハーネスは、環境との相互作用を調整することで長期ホライズンタスクの性能を大幅に改善してきた(34 upvotes)。しかし複雑なハーネスを通した強化学習はほとんど未開拓であり、長期ホライズンのエージェントタスクへそのような訓練をスケールさせようとすると根本的な困難が生じる。

新規性: ハーネスを黒箱のまま扱って学習する構えをとった点が中核である。ハーネスの内部を微分可能にしたり簡略化したりすれば学習は容易になるが、それでは実運用のハーネスが持つ複雑さを捨てることになる。黒箱として据え置いたまま長期ホライズンへスケールさせる方法を探るという設定は、研究環境と実運用環境の乖離を埋める方向にある。同日のStateMがハーネス設計を人手で押し上げたのに対し、こちらは学習で押し上げようとしており、両者が同じ対象への二つのアプローチとして並ぶ。

手法: エージェントハーネスを黒箱として扱いつつ、長期ホライズンのエージェントタスクに対する強化学習をスケールさせるための訓練手法を探索する。

Hugging Face Daily Papers

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

著者: Zihan Ding, Longxu Dou, Qi Gao et al.

基盤GUIエージェントは複雑なデジタル作業を自動化できるが、学習データの希少さと偏り、曖昧な指示、実行の不安定さが実配備を妨げている(33 upvotes)。日常のワークフローはユーザー固有のツールと暗黙の慣習に依存しており、明示されない指示は環境ごとに任意の振る舞いの違いを生む。

新規性: 「暗黙の慣習」をデータ量ではなく文脈内デモで補う設計にした点が中核である。GUI操作の失敗の多くは知識不足ではなく、そのユーザー・その組織でのみ通用する手順の未共有に起因する。これを追加学習で埋めようとすればユーザーごとの訓練が必要になるが、文脈内デモであれば推論時に差し込める。オープンウェイトで提供される点と合わせ、GUIエージェントの実配備における現実的な障壁に直接効く構成になっている。

手法: 文脈内デモンストレーションによってユーザー固有ツールと暗黙の慣習を補完し、曖昧な指示下でのGUI操作を安定させるオープンウェイトの基盤GUIエージェントを構築する。

Hugging Face Daily Papers

How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks

著者: Yanlin Fei, Nazhou Liu, Xinmiao Yu et al.

LLMとエージェント足場の急速な進歩により、単一のシステムが最初の仮説から最終的な論文までを一貫して担う「AutoResearch」と呼ばれる枠組みが現れている(22 upvotes)。しかし既存の評価はタスクの範囲が狭く、性能は測っても過程は測らず、失敗診断も体系的な網羅性や成果物レベルの可視性を欠いてきた。

新規性: 失敗パターンを45種の分類体系(ARFT)として実証的に構築し、その収束先を特定した点が中核である。7分野100タスク・8つのハーネスとモデルの組み合わせから800軌跡を集め、過程レベルの注釈を付けている。結論として、失敗パターンは「メタ認知ループの欠如」——生成物を発見内容と照合し、成り立たなければ修正し、そもそも辿った道筋が妥当だったかを問い直す能力——という単一の限界に収束するとされる。同じパターンが最強のモデルを含む全8組み合わせで再現したことから、欠陥はモデル層にありオーケストレーション層の介入で埋まるかは未検証の問いとして明示的に留保されている。この留保の置き方自体が診断研究として誠実である。

手法: 研究ライフサイクル全体(着想・検索・実行・分析・執筆・査読)にわたる100タスクで800軌跡を収集し、人間較正済みのagent-as-a-judgeパイプラインで完全な軌跡と中間成果物を検査して細粒度の失敗帰属を行う。

arXiv

Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

著者: Emilien Dupont, Marvin Eisenberger, Borislav Kozlovskii et al.

行列乗算指数ωに対する現在の最良上界は、レーザー法の精緻化である combination loss analysis によって得られている(10 upvotes)。本論文は、このアプローチの中核にある最適化問題に取り組み、上界を改善する。

新規性: 理論計算機科学の長年の最適化問題に、AlphaEvolveを含む現代的な最適化手法を適用して実際に記録を更新した点が中核である。ωの上界改善は数十年にわたり人手による解析の精緻化として積み上げられてきた領域であり、そこにAIによる探索が寄与したという事実は、同日のLarge Discovery Modelsが提起する「開放的仮説空間での発見」の具体例として読める。著者陣にJosh Alman、Virginia Vassilevska Williamsら当該分野の理論研究者が名を連ねている点も、AI手法が既存の理論的枠組みの内部で機能したことを示す。

手法: combination loss analysis の中核をなす最適化問題に対し、現代的な最適化手法とAlphaEvolveを適用して解を改善し、行列乗算指数ωの上界を更新する。

Hugging Face Daily Papers

分野別の動向

エージェントハーネスと実行系

この日の中心はハーネスだった。StateM(90 upvotes)がハーネス側のスケールで長期ホライズンの状態喪失・手順スキップ・早期停止を抑え、ClawGym II(34 upvotes)が同じハーネスを黒箱としたままRLでスケールさせる道を探る。cs.AI側でもCacheScoutがマルチエージェント配信でのKVキャッシュをエージェント認識で管理する提案を出しており、Agentic Transaction(22 upvotes)はエージェント系にACID特性を持ち込もうとしている。モデル能力の議論とは独立に、その周辺の実行基盤を工学的に固める層が厚くなってきた。

世界モデル・3D構築

HarnessEval-W(110 upvotes)が世界モデルのロールアウト評価を推論付きのエージェント的検分へ引き上げ、VibeWorlding(51 upvotes)が曖昧クエリからの3Dオープンワールド構築を評価、MegaParts(15 upvotes)が300パーツ規模までのパーツ認識3D生成をトークン効率的な自己回帰でスケールさせ、WorldRoverが幾何・カメラ運動・時間対応を含む合成動画データエンジンを提供する。生成・データ・評価が同じ日に揃っており、前日のMarionetteに続いて「世界を明示的な構造として持つ」方向が固まりつつある。

エージェント評価と失敗診断

How Do Agents Fail on AutoResearch(22 upvotes)が45種の失敗分類ARFTを構築し、その収束先をメタ認知ループの欠如と特定した。PACE-Bench(8 upvotes)は実行条件が変化した後の回復力を測り(自己進化エージェントの評価が固定条件に偏っているという指摘)、R^3-Bench(11 upvotes)は共有予算下での資源合理的推論の欠如を示し、VideoGAIA(9 upvotes)はVideo-MMEの約90%飽和を受けてエージェント的動画理解へ軸を移す。cs.AIのThe Hallucination Snowballは4段階マルチエージェント金融パイプラインでハルシネーションが段階ごとに検出困難化する過程をマルコフ過程としてモデル化し、境界ごとの逃避確率を24.6%・48.3%・89.3%と実測、「いつ検証するかが、検証するかどうかより重要」と結論している。エージェント評価が成功率からプロセスと失敗機序の解析へ確実に移行している。

強化学習・事後学習

Learn What’s Left(44 upvotes)が複数報酬の飽和検出とアドバンテージ再配分を扱い、cs.LGではDUETが同一重みの二教師(禁止事項を見る側と見ない側)の不一致からトークン単位の監督信号を取り出す手法を、SMOPDが多ターン自己蒸留において低エントロピートークンを損失から除く選択的マスキングを提示した。いずれも「どのトークン・どの目的に学習を割り当てるか」という配分問題であり、事後学習の主戦場が信号の作り方から信号の配り方へ移っていることが読める。

安全性・監査・検証

Ventor-QTest(12 upvotes)が第三者ホスト型LLM APIの品質監査を確率過程として形式化し、Understanding Cognition-Induced Risks in Agentic AI Systems(15 upvotes)がエージェントの認知的関与に伴うリスクを整理する。cs.CLではHarmProfileが23のフロンティアモデル・13モデルファミリから8万件超の検証済み有害出力を集め、有害性と多様性がモデル能力とともに増大する——安全に見えて危険な知識を内に抱えうる——と報告した。cs.AIのToward Safe LLM Agentsは38本の系統的レビューから「verifier tax」(不安全行動の94%を遮断しても、エージェントが別の不安全経路を使うため安全タスク完了率が5%未満になりうる)を指摘しており、検証を課すことの副作用が定量化され始めている。

効率化・インフラ

DumpsterCluster(2 upvotes、cs.LG版も同時掲載)が退役GPU 128基を中古部品のみで組み上げて1年運用し、LLaMA-70B推論で競争力ある性能を出した一方、系統平均の炭素強度下では70Bモデルでトークンあたり40倍超の総排出になりうると報告した。経済性と持続可能性が電力価格・電源構成に強く依存するという条件付きの結論であり、単純な「再利用は善」の議論を許さない。FPO(Forward Pass Domain Adaptation)はモデル本体を通した逆伝播なしに標準ファインチューニングの2.7〜3.2倍のスループットとピークメモリ約40%減を達成し、DFM Mimir v1の1Bという方向と合わせ、計算予算側からの制約への応答が複線化している。

ソース