LLM/NLP最新論文

MeanFlowのテキスト条件拡張が86 upvotesで注目を集め、Agent-Worldが60 upvotesでMCPベースの実世界環境合成を提案。潜在CoTによる自動運転高速化、ゲーム開発エージェント、動画ワールドモデルなど、生成と推論の効率化が多方面で進展した一日。

注目度

注目論文

Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation

著者: Chenxi Zhao, Chen Zhu, Xiaokun Feng et al.

1ステップ画像生成の代表的手法であるMeanFlowをクラスラベル条件からテキスト条件へ拡張する研究(86 upvotes)。既存のMeanFlow研究はクラスラベルからの画像生成に限定されていたが、テキスト条件への拡張は直感的でありながら未探索の方向であった。

新規性: MeanFlowの条件付けをクラスラベルからテキストへ拡張するにあたり、識別的テキスト表現を導入。生成モデルの1ステップ性を維持しつつ、テキスト記述による柔軟な画像生成を実現した点が新しい。

手法: テキスト条件を識別的な表現空間にエンコードし、MeanFlowの条件付けメカニズムに統合。クラスラベルの離散的な条件付けをテキストの連続的な意味空間に拡張することで、1ステップでのテキスト条件付き画像生成を達成した。

Hugging Face Daily Papers


OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation

著者: Jinghui Lu, Jiayi Guan, Zhijian Huang et al.

Chain-of-Thought(CoT)推論は自動運転の軌道予測に有効だが、自己回帰的な性質がリアルタイム展開に禁止的な遅延を生む。OneVLは推論を連続的な潜在空間に圧縮し、1ステップで軌道予測を実現する(65 upvotes)。

新規性: VLAベース自動運転におけるCoT推論の遅延問題を、潜在CoT手法で解決。推論プロセスを潜在トークンに圧縮し、明示的なテキスト推論を経ずに1ステップで軌道予測と視覚言語説明を同時に生成する。

手法: CoT推論を連続的な潜在表現に圧縮するアーキテクチャを設計。潜在空間で推論と計画を統合的に行い、必要に応じて視覚言語説明を生成可能な枠組みとした。自己回帰的なテキスト生成を回避することでリアルタイム性を確保した。

Hugging Face Daily Papers


Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence

著者: Guanting Dong, Junting Lu, Junjie Huang et al.

LLMエージェントは外部のステートフルなツール環境と対話することが期待されるが、訓練に必要な堅牢なエージェント環境の構築はスケーラブルではなかった。Agent-WorldはModel Context Protocol(MCP)を活用し、実世界環境を大規模に合成する(60 upvotes)。

新規性: MCPとエージェントスキルを統一インターフェースとして活用し、スケーラブルな実世界サービスとエージェントを接続する訓練環境の自動合成パイプラインを構築。手動設計に依存しない大規模環境生成を実現した。

手法: MCPベースの統一インターフェースを通じて多様な実世界サービスを環境として組み込み、エージェントの訓練データを自動生成。環境の多様性とスケーラビリティを両立させ、汎用エージェントの進化的訓練を支援するフレームワークを提供した。

Hugging Face Daily Papers


OpenGame: Open Agentic Coding for Games

著者: Yilei Jiang, Jinyuan Hu, Qianyin Xiao et al.

ゲーム開発はクリエイティブデザインと複雑なソフトウェアエンジニアリングの交差点に位置し、ゲームエンジン・リアルタイムループ・密結合状態の協調が求められる。LLMコードエージェントによるゲーム開発自動化フレームワークを提案する(49 upvotes)。

新規性: LLMエージェントを孤立したプログラミングタスクからゲーム開発全体のオーケストレーションへ拡張。ゲームエンジンとの統合、リアルタイムループの管理、複数ファイルにまたがる状態の一貫性維持を自動化するオープンなフレームワークを初めて提案した。

手法: エージェントがゲームエンジンAPIを操作し、ゲームロジック・レンダリング・入力処理などの各モジュールを協調的にコーディング。密結合した複数ファイルの状態を一貫して管理する仕組みにより、エンドツーエンドのゲーム開発を実現した。

Hugging Face Daily Papers


MultiWorld: Scalable Multi-Agent Multi-View Video World Models

著者: Haoyu Wu, Jiwen Yu, Yingtian Zou et al.

ビデオワールドモデルはアクション条件付きの環境ダイナミクスシミュレーションで成功しているが、既存手法は単一エージェント・単一視点に限定されていた。MultiWorldは複数エージェント・複数視点に対応するスケーラブルなビデオワールドモデルを提案する(35 upvotes)。

新規性: ビデオワールドモデルを単一エージェント・単一視点から複数エージェント・複数視点へ拡張。各エージェントのアクションと各視点の整合性を保ちつつ、スケーラブルなフレーム予測を実現した初の手法。

手法: 複数エージェントのアクション条件と複数視点の空間的整合性を統合的にモデル化するアクション条件付きビデオ生成アーキテクチャを設計。エージェント間・視点間の依存関係を効率的に処理するスケーラブルな構造を採用した。

Hugging Face Daily Papers


EasyVideoR1: Easier RL for Video Understanding

著者: Chuanyu Qin, Chenxu Yang, Qingyi Si et al.

検証可能な報酬による強化学習(RLVR)はLLMの推論能力向上に有効だが、動画理解への拡張は重要でありながら困難が多い。EasyVideoR1はRLVRの動画理解への適用を容易にするフレームワークを提案する(32 upvotes)。

新規性: RLVRを動画理解タスクに適用する際の障壁を体系的に分析し、それらを解消するフレームワークを設計。テキスト推論で成功したRLVRパラダイムを動画モダリティに効果的に移植する手法を提示した。

手法: 動画理解タスクに適した報酬設計と学習パイプラインを構築。マルチモーダルアーキテクチャの進化に合わせ、動画入力に対する検証可能な報酬の定義と強化学習の安定化を実現した。

Hugging Face Daily Papers


GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification

著者: Wangjie Gan, Miao Pan, Linbo Xi et al.

LLMのポストトレーニングではSFTとRLの統合が課題であり、効率的な知識注入と堅牢な汎化の両立が困難であった。GFTは訓練ダイナミクスの分析に基づき、SFTとRLを統一的に扱う手法を提案する(19 upvotes)。

新規性: SFTがRL的な枠組みで解釈可能であることを訓練ダイナミクス分析で示し、偏りのないグループアドバンテージと動的係数補正により両手法を統合。模倣学習から報酬ベースの微調整へのシームレスな移行を実現した。

手法: グループ内の相対的なアドバンテージを偏りなく推定する手法と、訓練進行に応じてSFT・RL成分の重みを動的に調整する係数補正機構を導入。知識注入フェーズから汎化フェーズへの自然な遷移を可能にした。

Hugging Face Daily Papers


Mind DeepResearch Technical Report

著者: MindDR Team, Li Auto Inc

約30Bパラメータのモデルのみで先端的なディープリサーチ性能を達成するマルチエージェントフレームワークMind DeepResearch(MindDR)を発表。データ合成と多段階訓練パイプラインの精密設計が核心である(19 upvotes)。

新規性: 数百億パラメータ規模のモデルで、はるかに大規模なモデルに匹敵するディープリサーチ性能を実現。3エージェント協調アーキテクチャとデータ合成パイプラインの組み合わせにより、計算効率と研究品質を両立させた。

手法: 協調的な3エージェント構成を採用し、各エージェントに特化した役割を割り当て。メタ的なデータ合成パイプラインで高品質な訓練データを生成し、多段階訓練により段階的に能力を獲得させる設計とした。

Hugging Face Daily Papers


When Can LLMs Learn to Reason with Weak Supervision?

著者: Salman Rahman, Jingyan Shen, Anna Mordvina et al.

RLVRはLLMの推論能力向上に成功しているが、モデル能力の向上に伴い高品質な報酬信号の構築が困難になっている。弱い監視信号下でRLVRが成功する条件を理論的・実験的に解明する(18 upvotes)。

新規性: 弱い報酬信号(ノイズのある報酬、不完全な検証器等)の下でRLVRが有効に機能する条件を体系的に分析した初の研究。報酬品質と学習成功の関係を定量化し、実用的な指針を提供した。

手法: 報酬信号の品質を体系的に劣化させた条件下でRLVRの学習ダイナミクスを分析。報酬ノイズの種類・程度と最終的な推論性能の関係を定量化し、弱い監視でも有効なRLVRの設計原則を導出した。

Hugging Face Daily Papers


The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation

著者: Jiaxin Zhang, Xiangyu Peng, Qinglin Chen et al.

オンポリシー蒸留(OPD)はLLMのポストトレーニングにおいて重要性を増しているが、タスク精度の向上と同時にモデルが深刻な過信に陥る「誤較正のスケーリング法則」を発見した(10 upvotes)。

新規性: OPDがタスク精度を改善しつつ体系的にモデルを過信状態に陥らせることを初めて実証し、これをスケーリング法則として定式化。能力と較正の乖離という根本問題を明らかにした。

手法: OPDにおける情報フロー経路を分析し、過信の原因を特定。タスク精度と較正の分離メカニズムを解明し、過信を緩和するための介入手法を提示した。

Hugging Face Daily Papers


分野別の動向

生成モデル・1ステップ推論

MeanFlowのテキスト条件拡張(86 upvotes)とOneVLの潜在CoT(65 upvotes)が示すように、推論ステップの圧縮と生成の高速化が大きなテーマとなっている。画像生成では1ステップ化が進み、自動運転では自己回帰的CoTの遅延をゼロに近づける研究が登場した。Motif-Video 2B(18 upvotes)は1万未満のクリップと10万H200 GPU時間未満という小規模予算でも強力なテキストからビデオ生成が可能であることを示し、効率的な生成モデル訓練の可能性を広げている。

エージェント・環境構築

Agent-World(60 upvotes)がMCPベースの環境合成でエージェント訓練のスケーラビリティ問題に取り組み、OpenGame(49 upvotes)がゲーム開発という複雑なドメインへのエージェント適用を推進した。SkillFlow(15 upvotes)はエージェントが外部スキルを発見・進化させる能力を評価するベンチマークを提案し、ClawEnvKit(17 upvotes)は検証済み環境のオンデマンド生成パイプラインを構築した。Agents Explore but Agents Ignore(5 upvotes)はLLMエージェントが環境観察を推論に統合できない問題を実証し、GenericAgent(6 upvotes)はコンテキスト情報密度の最大化によるトークン効率的なエージェント設計を提案している。

LLM訓練・ポストトレーニング

GFT(19 upvotes)がSFTとRLの統合手法を提案し、The Illusion of Certainty(10 upvotes)がオンポリシー蒸留の過信問題を発見するなど、ポストトレーニングの品質改善に関する研究が充実した。When Can LLMs Learn to Reason with Weak Supervision?(18 upvotes)はRLVRの適用限界を明確化し、Crowded in B-Space(14 upvotes)はLoRAアダプタのマージにおける干渉をB行列の共有方向の観点から分析・改善した。arXivからはBeyond Verifiable Rewards がルーブリックベースの生成的報酬モデルによるSWEエージェントの強化微調整を、S-GRPOがSFTとRLを統合したLVLMのポストトレーニングフレームワークを提案している。

動画理解・ワールドモデル

MultiWorld(35 upvotes)が複数エージェント・複数視点への拡張を、EasyVideoR1(32 upvotes)がRLVRの動画理解への適用容易化を提案した。OmniScript(5 upvotes)は長編映画からの詳細スクリプト生成を、MTR-DuplexBench(1 upvote)はフルデュプレックス音声言語モデルの多ラウンド評価ベンチマークを提案している。

安全性・信頼性

Symbolic Guardrails はドメイン特化エージェントに対する記号的ガードレールで安全性とセキュリティの保証を提供し、On the Reliability of Computer Use Agents(7 upvotes)は同一タスク・同一モデルでもエージェントの成功が再現しない信頼性問題を実証した。Subliminal Transfer of Unsafe Behaviors はエージェント蒸留における安全でない行動の暗黙的転移を、Terminal Wrench は報酬ハッキング可能な331環境のデータセットを公開し、エージェント安全性研究の基盤を提供している。

NLP応用・ベンチマーク

Concrete Jungle(8 upvotes)はVLMの構成的理解を具体性に基づく対照的負例マイニングで改善し、WebCompass(18 upvotes)はWebコーディングの多面的評価ベンチマークを提案した。Precise Debugging Benchmark(2 upvotes)はLLMがデバッグ時にコードを再生成してしまう問題を評価するフレームワークを導入し、Defragmenting Language Modelsは非ラテン文字のトークン過分割問題に解釈可能性ベースの語彙拡張で取り組んでいる。HalluSAE はスパースオートエンコーダを用いた相転移インスパイアのハルシネーション検出フレームワークを提案した。

ソース