LLM/NLP最新論文

MolmoMotion(49 upvotes)が言語指示による3D点軌跡予測を提示し、Current World ModelsとWorldLinesがワールドモデルの「持続する状態核」の欠如を問題提起。PerceptionDLMが並列マルチモーダル拡散を、The Reward Was in Your Dataが識別器ガイドRLでのフロー補正を示した。

注目度

注目論文

MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction

著者: Jianing Zhang, Chenhao Zheng, Yajun Yang et al.

言語指示に基づいて3D世界座標上の点軌跡を予測する運動予測手法(49 upvotes)。運動予測はエージェントが行動計画・物理的相互作用の推論・現実的な未来の合成を行うための中核能力である。

新規性: ワールド座標系における3D点を、クラス非依存・視点非依存の汎用表現として用いる点が特徴である。物体カテゴリやセンサ視点に依存しない統一的な運動表現により、多様な物体やシーンにわたる運動予測を一貫した枠組みで扱えるようにした。

手法: 言語指示を条件として、3D空間上の点群がどのように移動するかを予測する。クラスに紐づかない点ベースの表現を採用することで、特定の物体クラスへの過適合を避け、未知の物体や状況への汎化を狙う。

Hugging Face Daily Papers

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

著者: Yueyi Sun, Yuhao Wang, Jason Li et al.

自己回帰生成の非効率を回避し、複数領域を並列にキャプション化するマルチモーダル拡散言語モデル(34 upvotes)。

新規性: 既存のマルチモーダル大規模言語モデル(MLLM)の多くは自己回帰生成に依存しており、複数領域のキャプション付けを要する知覚タスクで効率が制約される。PerceptionDLMは拡散言語モデルを用いることで、領域ごとの逐次生成ではなく並列的な領域知覚を可能にし、この効率上のボトルネックを解消する。

手法: マルチモーダル拡散言語モデルの並列デコード特性を活用し、画像中の複数領域に対するキャプションを同時に生成する。自己回帰モデルにおける逐次依存を排し、知覚タスクで求められる効率と一貫性を両立させる。

Hugging Face Daily Papers

The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

著者: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng et al.

識別器ガイドの強化学習により、フローマッチングモデルの視覚的リアリズムと物体構造の整合性を補正する研究(19 upvotes)。

新規性: スコアマッチングやフローマッチングのモデルは、主観的選好への整合だけでなく、視覚的リアリズムや一貫した物体構造といった本来データから学習されるべき性質の回復のために、選好ベースの強化学習に依存しがちである。本研究は、その報酬信号が実はデータ自身の中に存在することを示し、識別器を用いたRLでこれらの性質を補正できることを実証した。

手法: 生成サンプルと実データを識別する判別器を学習し、その出力を報酬として強化学習でフローマッチングモデルを補正する。外部の選好データに頼らず、データ分布そのものから導かれる信号でリアリズムと構造的整合性を引き出す。

Hugging Face Daily Papers

Current World Models Lack a Persistent State Core

著者: Jinpeng Lu, Dexu Zhu, Haoyuan Shi et al.

現行のワールドモデルが、観測から切り離されて時間発展する内部世界状態を欠いている点を指摘する批判的研究(11 upvotes)。

新規性: ワールドモデルはAGIへの決定的ステップとみなされつつあるが、物理世界のモデリングには説得力あるフレームをオンデマンドに描画する以上のものが求められる。すなわち、観測から分離されて時間とともに進化し続ける内部世界状態が必要であり、それによって物体が一貫して存在し続ける。本研究は現行モデルがこの「持続する状態核」を欠くことを明確化した。

手法: 観測に依存せず時間発展する内部状態の必要性を論じ、現行のワールドモデルがフレーム描画に偏っていることを分析する。状態の永続性という観点から既存アプローチを評価し、次世代ワールドモデルが備えるべき要件を整理する。

Hugging Face Daily Papers

FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines

著者: Paul Kassianik, Baturay Saglam, Huaibo Zhao et al.

Claude Codeを用いてマルチステップLLMパイプラインのプロンプトを完全自律で最適化し、連鎖中のボトルネックを解消するフレームワーク(10 upvotes)。

新規性: マルチステップLLMパイプラインは、検索・推論・整形といった各ステップ間の相互作用を通じて失敗するため、プロンプトのみの最適化では連鎖中のボトルネックを見逃しやすい。FAPOは標準化された環境内でClaude Codeがパイプライン全体を最適化することで、個別プロンプトに閉じない包括的な改善を実現する。

手法: パイプラインを標準化された枠組みに載せ、Claude Codeに各ステップのプロンプトや構成を自律的に調整させる。ステップ間の相互作用を考慮しながら、ボトルネックとなる箇所を特定・修正する完全自律な最適化ループを構成する。

Hugging Face Daily Papers

LedgerAgent: Structured State for Policy-Adherent Tool-Calling Agents

著者: Md Nayem Uddin, Amir Saeidi, Eduardo Blanco et al.

構造化された状態管理により、ツール呼び出しエージェントのタスク状態維持とドメインポリシー遵守を両立させる研究(6 upvotes)。

新規性: カスタマーサービス領域のポリシー遵守型ツール呼び出しエージェントは、ツールを呼び出しドメインポリシーに従いつつ、ターン間でタスク状態を維持する必要がある。タスク状態はユーザー対話やツール呼び出しを通じて観測される事実・識別子・制約・条件から成る。標準的なエージェントではこの状態が暗黙的に扱われ脱落しやすいが、LedgerAgentは状態を明示的な「台帳」として構造化する。

手法: 対話とツール呼び出しから得られる事実や制約を構造化された状態として明示的に保持し、各ターンで参照・更新する。これにより、長い対話にわたるタスク状態の一貫性とドメインポリシーへの忠実な遵守を確保する。

Hugging Face Daily Papers

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

著者: Qian Zhao, Kunlong Chen, Changxin Tian et al.

FP4事前訓練における収縮バイアスの幾何学的起源を特定し、UFP4レシピで対処する研究(6 upvotes)。

新規性: FP4訓練はLLM事前訓練のメモリ・計算コストの大幅削減を約束するが、NVIDIA Blackwell/Rubin系やAMD MI350系を含む現行のFP4ハードウェアパスとレシピはE2M1データ要素を中心に据えている。本研究はこの構成に起因する根本的な限界を「収縮バイアス」として同定し、その幾何学的な発生原因とシステム全体への波及を解明した。

手法: FP4量子化における収縮バイアスを幾何学的観点から分析し、その系統的影響を明らかにする。これに基づくUFP4レシピを提案し、低精度事前訓練の安定性と品質を改善する。

Hugging Face Daily Papers

Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

著者: Zhongzhu Zhou, Qingyang Wu, Junxiong Wang et al.

ハイブリッド線形アテンション蒸留に対する原理的な初期化手法により、長文脈推論を高速化する研究(5 upvotes)。

新規性: ハイブリッド線形アテンションモデルは、完全なソフトマックスアテンションの二次コストとKVキャッシュ負荷を削減しつつTransformerの品質の多くを保持でき、高速な長文脈推論への有望な道筋となる。本研究は、事前学習済みTransformerからこうしたモデルへ変換する際の初期化を、テイラー展開に基づいて原理的に校正する手法を提案した。

手法: 変換時の初期化をテイラー近似によって校正し、元のソフトマックスアテンションの挙動を線形アテンション側で良好に再現する出発点を与える。これにより蒸留後の品質劣化を抑えつつ、長文脈推論の効率を高める。

Hugging Face Daily Papers

Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning

著者: Sajib Acharjee Dip, Dawei Zhou, Liqing Zhang

テスト時推論を計算配分の問題として捉え、予算制約下で選択的検証を行う手法(3 upvotes)。

新規性: テスト時推論はサービング時の制御ノブとして使われるが、追加の推論は一律に有益とは限らない。失敗した試行を修復することもあれば、既に正しい答えに無駄な計算を費やしたり、有害な回答変更を招いたりする。本研究はこれを新たな検証手法ではなくデプロイ上の配分問題として定式化する。

手法: 各問いに対して「もう一度考える(再試行)」か「より長く考える(追加推論)」かを選択的に決定し、限られた計算予算を効果的に配分する。既に正しい答えへの過剰な検証や有害な変更を避けつつ、修復が有効なケースに計算を集中させる。

Hugging Face Daily Papers

WorldLines: Benchmarking and Modeling Long-Horizon Stateful Embodied Agents

著者: Yehang Zhang, Jianchong Su, Haojian Huang et al.

ユーザー習慣・世界状態・過去の対話を記憶する長期ホライゾン具現エージェントのベンチマークおよびモデリング研究(2 upvotes)。

新規性: 実際の家庭で長期間にわたり人間を支援するには、具現エージェントがユーザーの習慣・世界状態・過去のやり取りを記憶する必要がある。既存の長期記憶ベンチマークは主に言語中心の検索・QAを評価し、具現ベンチマークは短期ホライゾンのタスクに偏っていた。WorldLinesはこの空白を埋め、状態を持つ長期ホライゾンの具現エージェントを評価する。

手法: 長期にわたる状態保持と記憶活用を要するタスク群を体系化し、エージェントがユーザー習慣や世界状態をどの程度維持・利用できるかを測定する。言語中心の記憶評価と短期具現タスクの双方の限界を補う評価基盤を提供する。

Hugging Face Daily Papers

分野別の動向

ワールドモデル・状態保持

本日はワールドモデルの「状態」を巡る問題提起が際立った。Current World Models Lack a Persistent State Core(11 upvotes)が、観測から分離され時間発展する内部世界状態の欠如を正面から批判し、WorldLines(2 upvotes)はユーザー習慣や世界状態を記憶する長期ホライゾン具現エージェントのベンチマークを整備した。MolmoMotion(49 upvotes)は言語指示による3D点軌跡予測でクラス非依存の運動表現を示し、世界の動的状態をどう表現・予測するかという関心が運動予測・具現エージェント・ワールドモデル批判の三方向で交差している。前回のDeepSeek-V4が長文脈の「スケール」を競ったのに対し、本日は世界の「状態の持続性」という質的側面に焦点が移った。

マルチモーダル・生成モデル

PerceptionDLM(34 upvotes)が自己回帰の逐次性を回避し、マルチモーダル拡散言語モデルによる複数領域の並列知覚を提示した。The Reward Was in Your Data All Along(19 upvotes)は、フローマッチングの視覚的リアリズムと物体構造を識別器ガイドRLで補正できることを示し、報酬がデータ自身に内在することを実証した。前回のMoebiusやFlowBenderに続き、拡散・フローモデルの効率化と制約整合性の両面で改善が積み重なっている。

エージェント・ツール使用

FAPO(10 upvotes)はClaude Codeを用いたマルチステップLLMパイプラインの完全自律プロンプト最適化を、LedgerAgent(6 upvotes)は構造化された状態台帳によるポリシー遵守型ツール呼び出しエージェントを提案した。両者とも、エージェントの失敗が個別ステップではなくステップ間の相互作用や状態管理の脱落から生じるという認識を共有しており、パイプライン全体の最適化と明示的状態管理という補完的アプローチを示している。

効率化・低精度学習

Rethinking Shrinkage Bias in LLM FP4 Pretraining(6 upvotes)はFP4事前訓練の収縮バイアスの幾何学的起源を特定しUFP4レシピで対処、Taylor-Calibrate(5 upvotes)はハイブリッド線形アテンション蒸留の原理的初期化で長文脈推論を高速化した。低精度学習の安定化とアテンション機構の効率化という、訓練・推論双方のコスト削減に向けた基盤研究が並んだ。

テスト時推論・計算配分

Think Again or Think Longer?(3 upvotes)は、テスト時推論を新たな検証手法ではなくデプロイ上の計算配分問題として捉え直し、再試行と追加推論を選択的に切り替える予算認識型の手法を提案した。前回のContextRLやREVESに続き、テスト時計算をどこに集中させるかという配分の最適化が継続的なテーマとなっている。

ソース