LLM/NLP最新論文

身体性エージェントのハーネスを実行の最中に閉ループ化するZetta ζが141 upvotesで首位。正解監督なしにマルチエージェントRLから推論を創発させるCo-RL、全モーダル・全分野のAI科学者OmniScientistが続き、自己改善の焦点が「何を改善するか」から「どこでループを閉じるか」へ移りつつあることを示した。

注目度

注目論文

Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

著者: Xin Ding, Liang Mi, Mingzhe Huang et al.

エンドツーエンドの方策モデルが残す隙を埋めるために、身体性エージェントの利用が広がっている(141 upvotes)。しかしエージェント的な経路は、物理実行における閉ループ学習を実現できていない——既存のハーネスはおおむね開ループのままで、ロールアウト中は固定されたスキルに従い、エピソードが完了して初めて反省を行う。

新規性: 自己進化の律速を、学習アルゴリズムではなくハーネスがループを閉じる位置に見た点が中核である。エピソード完了後にしか反省しない設計では、途中で明らかに失敗している試行も最後まで走り切ってしまい、物理実行では時間もハードウェアの消耗もそのまま損失になる。実行の最中に反省と修正を差し込む閉ループのハーネスは、この遅延を縮めて一回の試行から取れる情報量を上げにいく。効率性を掲げている点も、シミュレーションではなく実機を前提にした設計であることを示している。同日のFlowEvoやSkillForgeがワークフローやスキルの側で閉ループを作ろうとしているのに対し、こちらは物理実行そのものをループの内側に取り込む。

手法: ロールアウト中に固定スキルへ従い事後にのみ反省する開ループ型ハーネスに代えて、物理実行の進行中に学習を閉じる効率的な身体性ハーネスを構築する。

Hugging Face Daily Papers

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

著者: Yunhao Yang, Yuexin Bian, Yunjie Tian et al.

強化学習は言語モデル・視覚言語モデルの推論を改善する有力な手段となったが、その最も強い成果は依然として検証可能報酬などの正解監督に大きく依存している(91 upvotes)。こうした注釈は入手コストが高く、モデルの能力が上がるほど希少になっていく。

新規性: 推論を伸ばす信号の出どころを、外部の正解から集団内部の多様性へ移した点が中核である。検証可能報酬は数学やコードのように答え合わせができる領域でしか作れず、フロンティアが進むほど「人間が正解を用意できる問題」の側が先に尽きる。多様なエージェント集団のマルチエージェントRLから推論が創発するという主張は、監督のスケーリング問題そのものを回避する経路を示すものである。同日のSPADE系統の自己対戦研究が目標分布の側を広げるのに対し、こちらは報酬の側を集団から調達しにいく点で対をなす。

手法: 検証可能報酬などの正解監督に依存せず、多様性を持つエージェント集団によるマルチエージェント強化学習の中から、教師なしで推論能力を創発させる。

Hugging Face Daily Papers

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

著者: Bobo Li, Hao Fei, Tianjie Ju et al.

基盤モデルの進展により、AI科学者は仮説生成からコード実行、論文執筆までますます完結した研究ワークフローを自動化できるようになった(88 upvotes)。しかしワークフローの網羅は、科学的発見が依拠する証拠の全体へのアクセスを与えるものではない。

新規性: AI科学者の限界を、手順の欠落ではなく証拠の到達範囲として捉え直した点が中核である。仮説生成から執筆までの各段を自動化しても、扱える情報がテキストの論文本文に限られていれば、図表・実験データ・分野固有の記録といった発見の根拠そのものが視界の外に残る。全モーダル・全分野という設計は、ワークフローの完成度ではなく入力側の被覆を問題に据えるものであり、AI for Scienceの評価軸を「どこまで自動で回るか」から「何を根拠に判断しているか」へ寄せる。前日のSWE-bench Scienceが科学コードの正しさを問うたのと合わせ、科学自動化の議論が生産性から信頼性へ移る流れの中にある。

手法: 仮説生成・コード実行・原稿作成というワークフロー網羅にとどまらず、複数モーダル・複数分野にまたがる科学的証拠へアクセスできるAI科学者の枠組みを構築する。

Hugging Face Daily Papers

ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

著者: Xinye Li, Lingshuai Lin, Lei Wang et al.

行動条件付き動画世界モデルには、低遅延の因果的生成と、ゲームネイティブな操作入力への信頼できる応答が求められる(22 upvotes)。因果蒸留は1ステップないし数ステップでの動画合成を可能にするが、離散的なキーボード状態と連続的な操作入力が混在する対話的世界モデルへの拡張は依然として難しい。

新規性: 少ステップ生成の障壁を、画質ではなく制御入力の型の混在として特定した点が中核である。因果蒸留で生成ステップを削るとモデルは平均的な未来へ寄りやすく、キー押下のような離散的で不連続な入力への応答が鈍る——動画としては綺麗でも、操作に反応しない世界モデルになる。段階的な因果訓練という設計は、蒸留による高速化と入力応答性の両立をカリキュラムの側で解こうとするものである。

手法: 離散的なキーボード状態と連続的な操作入力が併存する対話的設定に向けて、因果蒸留による少ステップ動画生成を段階的な因果訓練によって拡張する。

Hugging Face Daily Papers

Repo0: Design-Driven Zero-to-All Code Generation

著者: Silin Chen, Haoyi Teng, Xiaodong Gu et al.

LLMエージェントはコード生成で大きく進展したが、既存システムの多くはリポジトリ構成があらかじめ与えられていることを前提としている(17 upvotes)。自然言語の記述からソフトウェアプロジェクト全体を構築する zero-to-all の設定では、この前提が成り立たない。

新規性: コード生成の難所を、個々のファイルの正しさではなくプロジェクト構造の決定に置いた点が中核である。既存のSWEベンチマーク的な設定では、ディレクトリ構成もモジュール境界も既に人間が決めており、エージェントは局所的な修正に集中できる。何もない状態から始めるとこの前提が消え、後段の実装がすべて依存する設計判断を先に下さなければならない——設計を誤れば個々のコードがどれだけ正しくても破綻する。設計駆動という枠組みは、この順序をエージェントの手続きに明示的に組み込むものである。同日のSkillForgeが既存リポジトリ固有の知識を自己蒸留で獲得するのと、リポジトリという単位を正面から扱う点で問題意識を共有する。

手法: 既定のリポジトリ構成を前提とせず、自然言語記述から設計を先に導出し、それに駆動される形でソフトウェアプロジェクト全体を生成するエージェントを構築する。

Hugging Face Daily Papers

Looped Language Models Improve Compositional Tool Calling

著者: Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò

ループ型言語モデルは推論ベンチマークで有望な結果を示してきたが、エージェント的なツール利用における可能性はほとんど検討されてこなかった(16 upvotes)。本研究はこの問いを合成的ツール呼び出しの設定で扱う——複数のAPI呼び出しを協調させ、中間状態を保持し、一貫性を保つことが求められる状況である。

新規性: ループ型アーキテクチャの適用先を、閉じた推論問題から外部状態を伴うツール利用へ広げた点が中核である。合成的ツール呼び出しの失敗は多くが単発の判断ミスではなく、呼び出しの連鎖の途中で中間状態を取り落とすことに起因する。層を反復して深さを稼ぐループ型モデルは、この状態保持を訓練済みの内部反復として供給できる可能性があり、パラメータ数ではなく計算の反復回数でエージェント能力を伸ばす経路を示唆する。

手法: 複数API呼び出しの協調と中間状態の保持が要求される合成的ツール呼び出し設定において、ループ型言語モデルの有効性を検証する。

Hugging Face Daily Papers

FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents

著者: Tianyou Wang, Chongyang Gao, Kezhen Chen et al.

言語モデルエージェントは、境界の明確なタスクなら既に確実に実行できる(16 upvotes)。しかし行動の帰結が累積し、環境がその選択に応答してくる長期horizonにおいて、効果的な意思決定を持続できるかはほとんど測られていない。FM-Bench(Football Management Benchmark)はこれをサッカークラブ経営という設定で測定する。

新規性: 評価対象を単発タスクの成功率から、累積と応答を伴う意思決定系列へ移した点が中核である。既存のエージェント評価はタスクが独立に採点されるため、序盤の判断が終盤の選択肢を狭めるという構造が現れない。加えて競合エージェントが存在する環境では、最適解が相手の行動に依存して動くため、静的な正解による採点自体が成立しない。クラブ経営という題材は、移籍・育成・戦術といった判断が数シーズンにわたって効いてくる構造を持ち、この累積性を自然に含む。

手法: 行動の帰結が累積し環境が応答する長期horizonの意思決定能力を、競合するエージェントが存在するサッカークラブ経営タスクで測定するベンチマークを構築する。

Hugging Face Daily Papers

Scaling Creative Writing Beyond Story-Centric Data with Attribute-Guided Genre Expansion

著者: Hwan Chang, Yongil Kim, Heuiyeen Yeen et al.

LLM向けの高品質な創作データは依然として物語中心のデータに支配されており、多様な創作形式が持つ構造的・機能的な規約への追従能力を制限している(14 upvotes)。本研究は創作データをスケールさせるための属性誘導型ジャンル拡張の枠組みを提案する。

新規性: 創作能力の不足を、生成品質ではなく訓練データのジャンル分布の偏りとして位置づけた点が中核である。物語データで学んだモデルは脚本・広告コピー・詩といった形式でも物語的な書き方に引き寄せられ、それぞれの形式が持つ構成上の約束事を外す。属性を軸にジャンルを拡張するという設計は、既存の物語データを原料に他形式のデータを作り出すもので、人手収集が難しい領域のデータ不足を合成側から埋めにいく。

手法: 物語中心のデータに偏る創作コーパスを、属性に誘導されたジャンル拡張によって多様な創作形式へ拡張し、各形式の構造的・機能的規約への追従を改善する。

Hugging Face Daily Papers

Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See

著者: Ayoub Kirouane, Christos Petrocheilos

フロンティアのMoEモデル3種(Alibaba、OpenAI、NVIDIA。いずれも活性パラメータ3.6〜4.0B)を、低資源言語で推論するようファインチューニングする(13 upvotes)。精度ベンチマーク上ではほとんど何も起こらず、しかもこの規模ではベンチマーク自体がノイズである——乱数シードを変えるだけでスコアが動く。

新規性: 訓練の効果測定において、精度指標がノイズに埋もれる領域を明示したうえで、SFTとRLがそれぞれ何を作り何を直すのかを分離した点が中核である。同規模の比較実験ではシード差だけでスコアが動くため、精度の増減を根拠に手法の優劣を語ることが原理的に成り立たない。それでも訓練が言語内推論の質を変えているとすれば、変化は精度以外の軸に現れているはずで、本研究はその軸を取り出しにいく。低資源言語の評価が「ベンチマークの数字が上がらない=効果がない」で切り捨てられてきた構造への反論になっている。

手法: 活性パラメータ3.6〜4.0BのMoEモデル3種を低資源言語での推論にファインチューニングし、乱数シード由来のスコア変動を踏まえたうえでSFTとRLの寄与を精度指標以外の観点から分離する。

Hugging Face Daily Papers

The Embedder’s Dilemma: LLMs Are Better, but at What Cost?

著者: Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee

テキスト埋め込みのパイプラインを大規模言語モデルで置き換えるべきか(7 upvotes)。6系統10種のLLMと、118Mから14Bまでの26種の埋め込みモデルを、分類・意味的テキスト類似度(STS)・クラスタリング・ペア分類などにまたがる37タスクで、コストを勘案した統制条件下で比較する。

新規性: 埋め込みモデル選択を、ベンチマーク上の性能順位ではなくコストを含めた運用判断として定式化した点が中核である。MTEB系のリーダーボードは精度のみで並ぶため、上位モデルが実運用の推論コストに見合うかは読み取れず、「大きいほど良い」という結論だけが独り歩きする。統制された条件でLLMと専用埋め込みモデルを同一タスク群に載せ、コスト軸を明示的に入れた比較は、置き換えが正当化される境界を実務者が引けるようにする。著者にはNiklas Muennighoff、Jinhyuk Leeら埋め込み評価の中心にいる研究者が名を連ねる。

手法: 6系統10種のLLMと118M〜14Bの26種の埋め込みモデルを、分類・STS・クラスタリング・ペア分類など37タスクで統制比較し、精度とコストの両軸で埋め込みパイプラインのLLM置換を評価する。

Hugging Face Daily Papers

分野別の動向

自己進化の焦点は「ループをどこで閉じるか」へ

この日の論文群で最も密度が高かったのは、エージェントの自己改善をめぐる一連の仕事である。ただし論点は「何を改善するか」ではなく「改善のループをどの位置で閉じるか」に集まっていた。首位のZetta ζ(141 upvotes)は、既存の身体性ハーネスがロールアウト中は固定スキルに従いエピソード完了後にしか反省しない開ループ構造だと指摘し、物理実行の最中にループを閉じる。FlowEvo(2 upvotes)は推論時に構築したワークフローが実行後に捨てられる問題を、ワークフローと実行可能スキルの共進化として扱う。Hierarchical Self-Improvement(10 upvotes)はデプロイ後は固定物として扱われがちなハーネス自体をタスク固有かつ継続的に進化させる対象に据え、SkillForge(11 upvotes)はプロジェクト固有の知識を自己蒸留で獲得する。SkillGate(6 upvotes)は数千規模の公開スキルライブラリから「どのスキルを読むか」がエピソード途中の方策判断になっている現状を捉え、その判断を訓練する信号が存在しないと述べる。前日のSkillEvoが複数ターンの相互作用から改善信号を取り出したのと合わせ、改善対象が方策の重みからスキル・ワークフロー・ハーネスという周辺構造へ広がっている。

監督信号を外部の正解から切り離す

Co-RL(91 upvotes)は、RLによる推論改善が検証可能報酬などの正解監督に依存している構造を正面から問題化し、多様なエージェント集団のマルチエージェントRLから教師なしで推論を創発させる。Chain-of-Experience(7 upvotes)は、従来のLLM評価が推論時の相互作用を通じた改善能力を無視していると指摘し、テスト時に反復的な経験から学ぶ設定を定式化する。前日のSPADE(47 upvotes)が自己対戦で目標分布を拡張し続ける方向を示したのと合わせ、注釈コストがスケーリングの上限になる領域を回避しようとする研究が並んだ。低資源言語を扱うThinking in a Low-Resource Language(13 upvotes)が「この規模では精度ベンチマーク自体がノイズ」と述べているのも、監督と評価の両側で既存の正解ベースの枠組みが限界に来ていることを別角度から示している。

評価は単発タスクから累積と副作用へ

ベンチマークの側でも、独立に採点できるタスクからの脱却が続く。FM-Bench(16 upvotes)は行動の帰結が累積し環境が応答する長期horizonの意思決定をクラブ経営で測り、QuoteBench(7 upvotes)はコーディングエージェントのBashコマンドが直列化・ラップ・再パースを経る過程に着目して、実行スコアが一致していても生成後に混入した失敗を切り分けられないと指摘する。PolicyGuide(7 upvotes)は顧客対応エージェントのコンプライアンス違反を、禁止行動の実行と手続き要件の欠落という二つの型に分けたうえで、単一行動の防護からワークフロー全体の誘導へ移す。Bounded Agents(3 upvotes)はセッション開始時に固定された権限が各リクエストを独立に評価してしまう構造を、委譲セキュリティの問題として扱う。いずれも「一回の出力が正しいか」では捕まらない失敗を測定対象に切り出す仕事である。

世界モデルと身体性:テスト時計算をどう配分するか

ロボティクス・世界モデル系では、推論時の計算配分が共通の論点になった。τ_0-VLA(9 upvotes)は階層的VLAモデルが各判断を単一のフォワードパスで下しており、追加の計算を割り当てる仕組みを持たない点を問題化し、世界モデルに導かれたテスト時計算を導入する。ForgeWM(22 upvotes)は逆に生成ステップを削る側から、離散的なキー入力への応答性を保ったまま少ステップ化を進める。EXIMO(10 upvotes)はVLMの誘導でVLA方策の探索を効率化し、Decision-Metric Alignment(15 upvotes)はJEPA型潜在世界モデルにおいて、潜在空間のユークリッド距離をMPCのコストに使うことがタスク進捗の順位付けとして妥当かを診断する。SoftVTBench(12 upvotes)は変形物体操作で、タスク成功だけを見る評価が滑りや過剰な圧縮を見逃す点を突き、視触覚データセットを整備する。

実務的な選択とコスト

The Embedder’s Dilemma(7 upvotes)は埋め込みパイプラインのLLM置換をコスト込みの統制比較で検証し、性能順位だけでは見えない境界線を引きにいく。TinyCast(8 upvotes)は146,505パラメータのアテンションフリー・ゼロショット予測器を提示し、この規模では文脈の周期構造は学習するより計算したほうが得だという前提を置く——ゼロパラメータのスペクトル検出器が支配的な周期を供給する。Towards Quantifying Benchmark Optimization in ASR Models(8 upvotes)は、公開ベンチマークであること自体がモデルの過剰最適化を招き実データへの一般化を損なうリスクを定量化する方法論を示す。大規模化の一択ではなく、規模・コスト・ベンチマークの信頼性を測り直す仕事が同じ日に並んだ形である。

ソース