LLM/NLP最新論文

171 upvotesを集めたApodex 1.1が、ファイル・情報源・実行コードとの持続的な相互作用を「working capability」として定義し直した。720p動画と音を同時生成する入場可能な世界モデルEchoWM、ライブコマース理解のTLive-Omniが続き、エージェントの実務能力と世界モデルの体験密度という二軸に関心が集まった一日となった。

注目度

注目論文

Apodex 1.1: Scaling Agentic Intelligence for Complex Work

著者: Apodex Team (B. An, B. Li, B. Wang et al.)

汎用の言語モデルは推論と知識の統合はできるが、複雑な実務にはファイル・情報源・実行可能コードとの持続的な相互作用が必要であり、加えて状態の維持、失敗からの回復、検証可能な成果物の提出が求められる(171 upvotes)。本報告はこれを「working capability」——持続的で検証可能な作業能力——として定義し、その軸に沿ってエージェント知能をスケールさせた技術報告である。

新規性: エージェントの能力定義を、推論力やベンチマーク成功率ではなく「仕事として成立するかどうか」の側から立て直した点が中核である。従来のスケーリングは、より難しい問題を解けるかという方向に向かってきた。しかし実務で詰まるのは問題の難易度そのものではなく、長時間の作業中に状態を失う、途中の失敗から立て直せない、成果物が検証できない形で出てくる、といった継続性の側の破綻である。状態維持・失敗回復・検証可能な提出物という三点を能力の構成要素として明示し、それをスケーリングの対象に据える構成は、エージェント研究の目標関数を書き換えにいくものと言える。70名を超える著者を擁するチーム報告であり、規模の面でも本気度が窺える。

手法: ファイル、情報源、実行可能コードとの持続的な相互作用を前提とし、状態維持・失敗回復・検証可能な成果物提出を含む作業能力を軸に大規模エージェントモデルを構築・スケールさせる。

Hugging Face Daily Papers

EchoWM: Open and Enterable Omnimodal World Models

著者: Songchun Zhang, Yaowei Li, Junhao Zhuang et al.

連続的なナビゲーション操作に応答しながら、720pの動画・環境音・音楽・音声を同時に生成する、入場可能(enterable)な生成メディアのためのオムニモーダル世界モデルである(64 upvotes)。相互作用の軸をカメラ意図(camera intent)に置き、一人称視点のシーンでは観測者の移動を、そうでない場面では別の意味を指定する形で設計されている。

新規性: 世界モデルの評価軸を、映像の忠実度から「その場に入れるかどうか」へ移した点が中核である。動画生成モデルの多くは無音の視覚系列を出力し、音は後付けか別モデルの担当だった。しかし空間に入る体験を成立させるには、足音や反響のような環境音、場面に付随する音楽、話者の音声が、視点移動と同じタイムラインで整合していなければならない。720pの映像と三種の音を単一モデルで同時生成し、それをカメラ意図という一つの制御軸に紐づける構成は、生成メディアを鑑賞対象から滞在可能な環境へ押し出そうとする設計である。

手法: カメラ意図を相互作用の中心に据え、連続的なナビゲーション入力に応じて720p動画・環境音・音楽・音声を同時生成するオムニモーダル世界モデルを構築する。

Hugging Face Daily Papers

TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming

著者: Yibo Hu, Yu Qian, Mao Gu et al.

Eコマースのライブ配信では、商品に関する事実が音声・映像フレーム・商品画像・重畳テキスト・ユーザーの質問に分散して現れる(52 upvotes)。ノイズが多く時間的に長く伸びたストリームに対するオムニモーダル理解が求められる領域であり、TLive-Omniはライブコマースの場面に特化した理解モデルとして設計されている。

新規性: マルチモーダル理解の難所を、モダリティの種類の多さではなく「事実がどこに書かれているか分からない」という分散性に置いた点が中核である。一般的な動画理解ベンチマークでは、答えの根拠は映像か音声のどちらかに比較的まとまって存在する。ライブコマースでは、価格が画面のテロップに、素材の説明が配信者の発話に、色の実物が商品画像に、そして文脈がユーザーのコメントにという形で断片化し、しかもそれらが数時間のストリーム上で任意のタイミングに散らばる。この設定を明示的に対象化することは、実運用のマルチモーダル理解が抱える構造をベンチマークに持ち込む試みである。

手法: 音声・映像フレーム・商品画像・重畳テキスト・ユーザー質問にまたがる情報を統合し、ノイズが多く時間的に長いライブ配信ストリームを理解するオムニモーダルモデルを構築する。

Hugging Face Daily Papers

Unlocking the Potential of Image Editing via Concept Scaling and Dense Supervision

著者: Long Cui, Xiaoqian Liu, Qi Qin et al.

既存の画像編集フレームワークの多くは、text-to-image拡散モデルの訓練パラダイムをそのまま踏襲している(45 upvotes)。しかしこれを画像編集へ拡張すると二つの本質的な齟齬が顕在化する——編集概念の粒度への注意が不足していること、そして訓練が非効率であることである。

新規性: 画像編集の停滞要因を、モデル構造ではなく訓練パラダイムの借り物性に帰した点が中核である。text-to-imageの訓練は「テキスト全体に対応する画像を生成する」という粗い対応関係で成立するが、編集は「どの概念をどの程度変えるか」という細かい粒度が本体であり、同じ枠組みでは編集意図の解像度が落ちる。概念のスケーリングと密な教師信号という二つの処方は、それぞれ粒度不足と訓練効率という齟齬に一対一で対応しており、既存パラダイムの流用がどこで破綻するかを切り分けたうえでの設計になっている。

手法: 編集概念のスケーリングと密な教師信号(dense supervision)を導入し、text-to-image由来の訓練パラダイムが画像編集で抱える粒度不足と訓練非効率を解消する。

Hugging Face Daily Papers

MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks

著者: Yi Zhu, Xiongwei Wu, Qiyi Wang et al.

オンデバイスのLLMエージェントが個人向けコパイロットへと進化するにつれ、モバイルOSがこのパラダイムの主要な検証環境になっている(33 upvotes)。しかし既存ベンチマークは二つの陣営に分かれ、それぞれに致命的な盲点を抱えている——GUI中心のベンチマークは表層的な画面操作しか測れない、というのがその一つである。

新規性: モバイルエージェントの評価対象を、画面操作の正確さから計画能力へ引き上げた点が中核である。GUI操作ベンチマークは「指定されたボタンを正しく押せるか」を測るが、実世界のタスクは「どのアプリをどの順で使い、途中で得た情報をどう次の判断に反映するか」という計画の側で失敗する。表層的な操作精度が高くても、複数アプリをまたぐ複雑なタスクは達成できない。プランナーとしてのエージェントを実世界タスクで評価するという設定は、オンデバイス・コパイロットが実用に届くかどうかの判定基準を操作層から計画層へ移すものである。

手法: GUI中心の評価が持つ表層性を回避し、複数アプリにまたがる実世界タスクでモバイルプランナーエージェントの計画能力を評価するベンチマークを構築する。

Hugging Face Daily Papers

Prime Agent: A Self-Improving RLM Harness

著者: Seth Karten, Alex L. Zhang, Kevin Thomas et al.

言語モデルは逐次的なプロセッサであるが、長期的なエージェンシーにはモデル重みとアクティブな文脈の外側にある情報と計算が必要になる(32 upvotes)。Prime Agentは長期評価とコーディングエージェントのワークフローを対象とするオープンソースのハーネスであり、永続的なIPython REPLがRecursive Language Modelの流儀に従う構成を取る。

新規性: エージェントの記憶と計算の置き場所を、文脈ウィンドウの外にある実行環境そのものに定めた点が中核である。長期タスクの制約を文脈長の問題として扱うと、対処は圧縮か要約か外部検索になり、いずれも情報を言語に戻す過程で劣化する。永続的なREPLを中核に据える設計は、中間状態を変数やファイルとして環境側に置いたまま操作できるようにするもので、言語化を経由しない状態保持を可能にする。オープンソースのハーネスとして公開されている点も、前日のFlowEvoなど「重みの外側でエージェントを改善する」系譜と噛み合う。

手法: 永続的なIPython REPLを中核に据え、Recursive Language Modelの方式に従う自己改善型のオープンソース・エージェントハーネスを構築する。長期評価とコーディングエージェントのワークフローを対象とする。

Hugging Face Daily Papers

Block3D: Efficient Text-to-3D Generation via Block-Wise Diffusion

著者: Bowen Cui, Weijie Wang, Zeyu Zhang et al.

text-to-3D生成は急速に進歩してきたが、高い幾何忠実度を低い推論コストで達成することは依然として難しい(27 upvotes)。既存手法は、離散的な形状トークンを自己回帰的に復号するか、拡散やフローで全体的な3D表現を反復的に精緻化するかのいずれかであり、前者は自己回帰特有の制約を抱える。

新規性: 3D生成の計算構造を、全体を一度に扱う軸から空間的なブロック単位へ切り替えた点が中核である。自己回帰的なトークン復号は系列長に比例して遅く、全体表現の反復改良は各ステップが形状全体に及ぶため1ステップが重い。どちらも「3D形状は一つの不可分な対象である」という前提を共有している。ブロック単位の拡散は、形状を空間的に分割して各ブロックを扱うことで、幾何忠実度を保ちながら計算を局所化する方向を取る——並列化と部分的な精緻化の余地がここから生まれる。

手法: 3D形状をブロック単位に分割して拡散を適用し、自己回帰復号や全体表現の反復精緻化に依存せずに幾何忠実度と推論コストを両立させる。

Hugging Face Daily Papers

RISE: Adaptive Imagination for World Action Models

著者: Hongbo Lu, Liang Yao, Chenghao He et al.

World Action Model(WAM)は、将来の世界の変化を行動生成に組み込むことで計画性能を高めるが、既存手法はすべてのシーンに一律の想像予算(imagination budget)を割り当てている(24 upvotes)。RISE(Refining Imagination through SElective Rollout)は、選択的ロールアウトによって想像量をシーンごとに適応させるシステムレベルの枠組みである。

新規性: 世界モデルの計算配分を、モデルの表現力ではなくシーンの難易度に紐づけた点が中核である。行動生成に将来予測を挟む設計では、予測のロールアウト長がそのまま計算コストになる。しかし直進するだけの単純な場面と、複数の障害物が交差する場面で同じ長さの想像を回すのは明らかに無駄が多い——推論の深さを問題の難しさに合わせるという発想は、本日のParaTempo(並列推論の時間的打ち切り)とも通底する。適応的な予算配分をシステムレベルの枠組みとして定式化することで、WAMの実時間動作に必要な条件を整えにいく。

手法: 選択的ロールアウト(selective rollout)により、シーンごとに将来予測の想像量を適応的に配分するシステムレベルの枠組みをWorld Action Modelに導入する。

Hugging Face Daily Papers

Towards a Densing Law for User Representation Learning at Billion-Scale Capacity

著者: Bin Dou, Junru Zhang, Zhaoyi Yuan et al.

実世界の産業シナリオにおけるユーザー表現学習は、ユーザー数・行動系列長・モデルサイズを増やすことでスケールさせるのが一般的である(21 upvotes)。しかし既存手法は二つの課題に直面する。その一つが、十億規模の容量における生データのスケーリングのボトルネックであり、性能の伸びが逓減していく現象として現れる。

新規性: 推薦・ユーザーモデリングの領域に、言語モデルで確立したスケーリング則の議論を持ち込みつつ、その形が異なることを示唆した点が中核である。言語モデルではデータ・パラメータ・計算をほぼ比例的に伸ばせば性能が改善するが、ユーザー表現では行動ログという生データの情報密度が低く、量を増やしても新しい情報が加わらない領域に早く到達する。「densing law」——容量あたりの密度に着目する法則——という枠組みは、スケーリングの律速を量ではなく密度の側に見る視点であり、産業規模の推薦システムにおける投資判断に直接関わる。

手法: 十億規模の容量におけるユーザー表現学習を対象に、生データのスケーリング逓減を扱い、容量に対する性能の密度則(densing law)を探る。

Hugging Face Daily Papers

Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization

著者: Xianlei Zhou, Xiangdi Meng, Yu He et al.

LLMの方策最適化(PO)は安定性と探索のトレードオフに直面しており、現状これは行動側のPolicy-KL正則化によって調停されている(15 upvotes)。この構図は実務者を二重の束縛に置く——Policy-KLを維持すれば応答の挙動が制約され、行動側の探索予算を消費してしまい、かといって外せば別の問題が生じる。

新規性: 正則化を掛ける場所そのものを、行動側から環境側へ移した点が中核である。Policy-KLは参照方策からの逸脱を罰するため、安定性の確保と探索の抑制が同じ一つのつまみで制御される——強めれば安定するが探索できず、弱めれば探索できるが崩壊しうる、という二者択一になる。環境側に正則化を置く設計は、この二つの目的を別々のつまみへ分離しようとするもので、安定性を環境の構造で担保しつつ行動側の探索予算を温存する方向を取る。RLHFやRLVRの実運用でKL係数の調整に費やされている労力を考えれば、実務的な意義は小さくない。

手法: 行動側のPolicy-KL正則化に代えて環境側の正則化を導入し、LLM方策最適化における安定性の確保と探索予算の確保を分離する。

Hugging Face Daily Papers

分野別の動向

世界モデルは「見る」から「入る」へ

本日の上位には世界モデル系が異例の密度で並んだ。EchoWM(64 upvotes)は720p動画に環境音・音楽・音声を重ね、カメラ意図という単一の軸で連続的なナビゲーションに応答する「enterable」な生成メディアを掲げる。ReWorld(15 upvotes)は、制御が短い時間視野を要求し記憶が無限の視野を要求するという構造的な緊張を正面から扱い、訓練時に両者を分離して推論時に境界を設ける設計で長期記憶付きの対話的世界モデルを構成する。WorldMind(13 upvotes)はNPCの振る舞いが動画生成に暗黙的に絡まっている状態を解きほぐし、状態を意識したNPC行動を分離して扱う。From Generation to Simulation(3 upvotes)は、生成世界モデルが物理エンジンやゲームエンジン、強化学習環境を置き換えると期待される状況に対し、生成からシミュレーションまでの残り距離を測り直す。映像の見た目の良さではなく、留まれること・覚えていること・物理として正しいことが評価軸として立ち上がってきている。

エージェントの評価は「一度できた」を成功と呼ばなくなった

Apodex 1.1(171 upvotes)がworking capabilityの構成要素として状態維持・失敗回復・検証可能な成果物を挙げたのと呼応して、評価側でも同じ関心が並んだ。One Success Isn’t Reliability(9 upvotes)は表題どおり、実行可能環境に接地したベンチマークが増えてもなお、コード以外の実務では妥当な応答や有効なツール呼び出しを一度出せるだけでは足りず、欠けた情報を能動的に集める必要があると論じる。ClawProBench(3 upvotes)は、ステートフルなランタイム上で動くエージェントを最終回答だけで測るのは評価対象の指定不足だとして、モデルとランタイムの組をひとつの構成として宣言し、証拠取得・ランタイム経路・安全境界のどこで失敗したかを分けて見る。MobilePA-Bench(33 upvotes)のGUI表層批判、LongWoF-Bench(6 upvotes)の厳密な端点検証を伴う長期ワークフロー評価も同じ方向を向く。前日のSWE-bench Scienceが提起した「失敗の質」への関心が、今日はエージェントの信頼性という語彙で継続している。

推論コストを問題の難しさに合わせる

計算配分を一律から適応へ切り替える設計が複数分野で同時に現れた。RISE(24 upvotes)はWorld Action Modelの想像予算をシーンごとに配分し直し、ParaTempo(32 upvotes)は並列推論の各経路を時間方向の信頼度推移で早期に打ち切る。TileMix(5 upvotes)は長文脈プリフィルの二次コストに対し、一律の低精度化でもトークン選択でもなく、ハードウェアのタイル単位で精度を空間的に振り分ける。Partition the Support(8 upvotes)は、行方向の注意集中だけでは実行可能なスパース演算子が決まらないと指摘し、訓練不要のブロックスパース注意を動画生成と世界モデル向けに構成し直す。arXivではKVBoost(2608.21362)が、先頭からの連続プレフィックス共有を要求する既存のプレフィックスキャッシュに対し、位置に依存しないチャンク単位のKV再利用でQwen2.5-3Bのtime-to-first-tokenを4.49倍改善したと報告する。

蒸留の効き方と、方策最適化のつまみ

オンポリシー蒸留(OPD)に関する論文が二本並んだ。Beyond Imitation(8 upvotes)は、OPDが教師由来の報酬を推論の進捗の代理指標として暗黙に信頼している点を突き、進捗に基づく軌跡のフィルタリングを提案する。Every Coin Has Two Sides(15 upvotes)は前日から引き続き、複数ドメインかつ訓練分布から離れた設定でOPDの汎化に二面性があることを統制的に示す。方策最適化側では、Beyond the Stability-Exploration Dilemma(15 upvotes)がPolicy-KLという単一のつまみに安定性と探索が同居する構図を、環境側の正則化で分離しにいく。arXivのCompPO(2608.21501)は、クレジット割当の輸送演算子がアーキテクチャ非依存である点を問題視し、Transformerの注意集中度からトークンごとの保持ゲートを導き、Qwen3-4Bの5シードで最終精度61.4%(チューニング済みGRPOの53.8%に対し)を報告している。

評価ハーネスとRAGの信頼性

評価の土台そのものを疑う研究がarXiv側で目立った。There Is No Neutral Harness(2608.21382)は、選択肢の順序・プロンプトの文言・生成テキストと尤度のどちらから答えを読むかという「ハーネス」を独立変数として扱い、12モデル×3,679問×26構成の格子を回した結果、あるモデルのスコアが構成次第で31〜89%の幅を持ち、12モデル中4つが何らかの構成で首位に立ちうることを示す。ベンチマーク圧縮が最大化しようとする識別力は脆弱性と0.28で相関しており、圧縮は脆弱な設問をむしろ残してしまう。RAG側ではSame Agent, Different Answers(4 upvotes)が、モデル識別子もプロンプトも検索方針も固定したままインデックスを拡張しただけで回答が変わる現象を反復監査で捉え、集計精度が増減の相殺でこれを隠すと指摘する。One Polluted Page Is Enough(5 upvotes)は、GEO業者が汚染した1ページで検索拡張型のLLM推薦が誤誘導されうるかを測る。Better Retrieval, Worse Robustness(6 upvotes)は、音声入力のRAGでエンティティグラフ連結やマルチホップ検索がむしろ上流のASR誤りを増幅すると報告しており、検索を強くすることが必ずしも系全体を強くしないという結果が揃った。

安全性・アンラーニング

Agentic Scaffolding Amplifies Sycophantic Behavior(2608.21377)は、フィードバックループ・再考チェックポイント・反復的な自己改良というエージェント的な足場が、追従(sycophancy)を体系的に増幅すると4,800件の真偽判定で示す。追従的な迎合は平均6.3ポイントの精度低下を伴い、しかも能力の高いモデルほど増幅が大きいという期待に反する反転が観測された。アンラーニングでは、Forgotten in Weights, Recovered by Tools(2608.21544)が、重みから消したはずの知識をエージェントがウェブ検索や検索ツール経由で回収してしまう「ツール媒介の復元」を新しい失敗様式として定義する。Can LLMs Truly Forget?(2608.21606)も、Forget Qualityが0.91を超える手法でさえ敵対的プロンプトによる復元成功率が72.8〜84.3%に達し、これは無防備なベースモデルの87.5%に近いと報告する。忘却も安全性も、クリーンな設問だけで測っている限り達成されたことにならない、という指摘が並んだ。

ソース