LLM/NLP最新論文

LocateAnythingが91 upvotesでVLMの並列ボックスデコーディングによる高速グラウンディングを実現し、MiniMax-M2が229.9BパラメータMoEモデルでself-evolution機能を搭載。D²-Monitorが拡散型LLMの安全性モニタリングを開拓し、Personalize-then-Storeがエージェント記憶のパーソナライズ問題を体系化した。

注目度

注目論文

LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

著者: Shihao Wang, Shilong Liu, Yuanguo Kuang et al.

VLMにおけるビジュアルグラウンディングの根本的なボトルネックである座標トークンの逐次デコーディングを、並列ボックスデコーディングで解消した研究(91 upvotes)。2Dバウンディングボックスを複数の1Dトークンに直列化する従来手法の構造的不整合を正面から解決する。

新規性: 既存のVLMはグラウンディングや検出を座標トークン生成問題として定式化し、各ボックスを複数の1Dトークンに分解して逐次的にデコードする。しかしこの方式ではトークン間の結合構造(ボックスの幾何学的整合性)が失われ、各座標が独立に学習・デコードされる。LocateAnythingはボックス全体を並列にデコードすることで、この幾何学的結合を保持しつつ高速化を実現する初のアプローチである。

手法: ボックスの4座標を独立したトークンとして逐次生成するのではなく、ボックス全体を一単位として並列にデコードするアーキテクチャを設計する。これによりデコード速度の大幅な向上と、ボックス座標間の幾何学的整合性の維持を同時に達成している。91 upvotesという高い注目度は、VLMグラウンディングの実用化における重要な技術的課題を解決した点が評価されている。

Hugging Face Daily Papers


The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence

著者: MiniMax (Aili Chen, Aonian Li, Baichuan Zhou et al.)

229.9Bの総パラメータに対しトークンあたり9.8Bのみをアクティブにする大規模MoE言語モデルシリーズを公開し、エージェント特化の設計とself-evolution機能を搭載した研究(25 upvotes)。エージェント型デプロイメントを最初から考慮したエンドツーエンド設計が特徴である。

新規性: MoEアーキテクチャ自体は確立されているが、M2シリーズはエージェント駆動データパイプライン、スケーラブルなエージェントネイティブRLシステム(Forge)、そして自律的にトレーニングランのデバッグと自身のスキャフォールド修正を行うself-evolutionの3要素を統合している。特にM2.7チェックポイントが自律的に訓練プロセスを改善する能力は、モデル開発の自動化に向けた重要なステップである。

手法: (i) エージェントコーディングとエージェント協働にわたる大規模で検証可能なトラジェクトリを生成するエージェント駆動データパイプライン、(ii) 長期的エージェントトラジェクトリに適応するForge RLシステム(windowed-FIFOスケジューリング、prefix-treeマージング、推論最適化を含む)、(iii) M2.7での自律的なトレーニングランデバッグとスキャフォールド修正によるself-evolutionを組み合わせる。エージェントコーディング、ディープサーチ、オフィスタスク、推論ベンチマークでフロンティア級の性能を達成している。

arXiv


D^2-Monitor: Dynamic Safety Monitoring for Diffusion LLMs via Hesitation-Aware Routing

著者: Aoxi Liu, Yupeng Chen, James Oldfield et al.

拡散型大規模言語モデル(D-LLM)の安全性モニタリングを初めて体系的に探求し、中間デノイジング過程における「ためらい」パターンを活用した有害出力検出手法を提案した研究(31 upvotes)。自己回帰型LLMとは根本的に異なるD-LLMの生成メカニズムに対応した安全性対策の開拓的研究である。

新規性: D-LLMはマルチステップデノイジングプロセスでテキストを生成するため、自己回帰型LLMとは異なり中間隠れ状態が露出する。しかしD-LLMの安全性モニタリングはほとんど未探索であった。D²-Monitorはデノイジング過程で有害出力が生成される際に現れる特徴的な「ためらい」パターンを発見し、これを安全性判定に活用する初のフレームワークである。

手法: マルチステップデノイジング過程の中間隠れ表現を分析し、有害コンテンツ生成時に特徴的に現れるためらいパターン(デノイジングの不安定性や表現の振動)を検出する。これらのパターンに基づくルーティング機構により、生成完了前の早期段階で有害出力を動的に検知・介入する。

Hugging Face Daily Papers


Personalize-then-Store: Benchmarking and Learning Personalized Memory for Long-horizon Agents

著者: Yeonjun In, Wonjoong Kim, Sangwu Park et al.

LLMエージェントのメモリシステムが画一的な静的ポリシーに依存している問題を指摘し、ユーザーごとに記憶すべき文脈を適応的に選択するパーソナライズドメモリのベンチマークと学習手法を提案した研究(33 upvotes)。

新規性: 既存のLLMベースメモリシステムは全ユーザーに共通の静的ポリシーを適用しており、ユーザーごとに何を記憶すべきかが異なるという根本的な現実を無視している。このミスマッチにより、限られたメモリ予算が一時的なやり取りに浪費される一方、重要な文脈が保存されない。本研究はこの問題を初めて体系的に定式化し、パーソナライズドメモリの評価基盤を提供する。

手法: ユーザーごとの記憶価値を学習するフレームワークを構築し、限られたメモリ予算の下で各ユーザーにとって最も重要な情報を優先的に保存する。ベンチマークはユーザー特性の異なる多様なシナリオをカバーし、メモリポリシーのパーソナライズ効果を定量的に評価可能にしている。

Hugging Face Daily Papers


Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling

著者: Xinglin Wang, Hao Lin, Shaoxiong Feng et al.

テスト時スケーリング(TTS)における並列分岐間の中間発見共有フレームワークを提案し、孤立探索の非効率を解消して推論精度と効率を同時に向上させた研究(21 upvotes)。

新規性: 既存の並列TTS手法は探索中の分岐を互いに隔離したまま維持するため、ある分岐で得られた中間的な発見が他の分岐に伝わらない。これにより同じ部分問題が複数の分岐で重複して探索され、計算資源が浪費される。本研究は分岐間で中間発見を共有する「協調的並列思考」により、この構造的非効率を解消する。

手法: 並列に実行される推論分岐間で中間的な発見(部分解、有用な洞察、失敗からの学び)をリアルタイムで共有するメカニズムを導入する。各分岐は他の分岐の進捗を参照しながら探索方向を調整でき、重複探索を削減しつつ解空間のカバレッジを維持する。

Hugging Face Daily Papers


Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

著者: Tony Lee, Percy Liang

外部教師やツールなしで、LLM自身が生成・検証した合成データにより推論能力を向上させるポストトレーニング手法を提案した研究。Qwen3-4Bで数学+16.7pt、科学+11.1pt、コーディング+8.3ptの改善を達成している。

新規性: ポストトレーニングでのLLM自己改善は、外部の教師モデルやツールフィードバックに依存するのが一般的だった。Self-Verified Distillationはラベルなしの種問題のみを出発点に、モデル自身が候補解を生成し、cycle-consistency・factuality・correctnessの3段階カスケード検証でフィルタリングする完全自己完結型パイプラインを構築する。

手法: モデルが種問題に対して多数の候補解を生成し、3段階の自己検証カスケード(循環一貫性、事実性、正確性チェック)を全段階満場一致で通過した解のみを訓練データとして採用する。より多くの候補生成と大きな検証予算が高品質なデータと優れた推論モデルを生み出すことを実証し、テスト時に1回の推論呼び出しのみでテスト時計算ベースラインを上回る。

arXiv


LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

著者: Xiang An, Yin Xie, Feilong Tang et al.

LLaVA-OneVisionシリーズの最新モデルとして、ネイティブOneVision-EncoderとWindowed Attentionを統合し、広範なマルチモーダルベンチマークで最高性能を達成した研究(17 upvotes)。

新規性: LLaVA-OVシリーズは汎用ビジョン言語モデルとして広く採用されているが、エンコーダの能力とアテンション効率が大規模入力での性能ボトルネックとなっていた。LLaVA-OV-2はネイティブOneVision-Encoder(視覚表現の質的向上)とWindowed Attention(効率的な長系列処理)の2つの技術革新により、これらのボトルネックを同時に解消する。

手法: ネイティブOneVision-Encoderにより視覚入力の表現品質を根本的に向上させ、Windowed Attentionにより長い視覚系列の効率的な処理を実現する。これらの統合により、画像理解・映像理解・文書理解等の広範なマルチモーダルタスクで従来のLLaVA-OVを大幅に上回る性能を達成している。

Hugging Face Daily Papers


SPEAR: Code-Augmented Agentic Prompt Optimization

著者: Mengyin Lu, Cong Feng, Huimin Han et al.

Pythonサンドボックスを活用したエージェント型自動プロンプト最適化フレームワークを提案し、構造的エラー分析によりBBH-7で0.938精度を達成した研究。CodeActパラダイムをプロンプト最適化に応用した初の試みである。

新規性: 既存の自動プロンプト最適化(APE)はオプティマイザ自体を固定パイプラインとして扱うが、SPEARはevaluate・python・set_prompt・finishの4ツールを持つ自律エージェントがプロンプトを最適化する。特にPythonサンドボックスでの構造的エラー分析(混同行列、エラークラスタリング等)が最大の差別化要因であり、LLMが生DataFrameから確実に抽出できないクラス対混同の集約を可能にする。

手法: エージェントが評価DataFrameに対して任意のPythonコードを実行し、構造的エラー分析を自ら設計・実施する。メトリック回帰時の自動ロールバックとガードメトリックフロアの2つのガードレールにより、長期的な最適化を単調改善に制約する。13のジャッジタスクとBBH-7で既存手法を大幅に上回っている。

arXiv


Negligible in Size, Significant in Effect: On Scale Vectors in Large Language Models

著者: Mingze Wang, Shuchen Zhu, Yuxin Fang et al.

LLMの正規化層におけるスケールベクトルの役割を初めて体系的に解明し、モデルの振る舞いに対する予想以上の影響力を明らかにした研究(12 upvotes)。

新規性: 現代のLLMの正規化層は決定論的な正規化演算と学習可能なスケールベクトルで構成されるが、正規化演算は広く研究されている一方、スケールベクトルはその偏在性にもかかわらずほとんど理解されていなかった。本研究はスケールベクトルがモデルサイズに比べて微小でありながら、モデルの表現力と出力品質に不釣り合いに大きな影響を持つことを系統的に示す。

手法: スケールベクトルの摂動・除去・分析実験を通じて、正規化層のスケールベクトルがモデルの内部表現にどのように作用するかを解明する。モデル圧縮における効率的なパラメータ選択やモデル解釈性の向上に直結する知見を提供している。

Hugging Face Daily Papers


Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement

著者: Dingwei Chen, Zefang Zong, Zhipeng Ma et al.

エージェントRL訓練が引き起こす冗長ツール呼び出しの増加とモデルの内在知識境界の曖昧化を特定し、知識境界強化により効率的なツール使用を実現した研究(11 upvotes)。

新規性: エージェントRLは外部ツール使用能力の訓練に有効だが、訓練が進むにつれて2つの問題が悪化することを本研究は初めて特定した。(1) モデル自身が回答可能な質問に対しても不要なツール呼び出しが増加する、(2) モデルが自身の知識で解決可能な範囲と外部ツールが必要な範囲の境界を見失う。これらは計算コストの増大と推論品質の低下を同時に引き起こす。

手法: On-Policy Intrinsic Knowledge Boundary Enhancementにより、モデルが各時点で自身の内在知識で対応可能かツール呼び出しが必要かを正確に判断できるよう訓練する。これにより不要なツール呼び出しを削減しつつ、必要な場面でのツール活用精度を維持する。

Hugging Face Daily Papers


分野別の動向

LLM基盤技術・アーキテクチャ

MiniMax-M2(25 upvotes)がエージェントネイティブ設計のMoEモデルを公開し、self-evolution機能というモデル開発自動化の萌芽を示した。同日のarXiv cs.LGではUnified Neural Scaling Lawsが複数次元の同時スケーリング予測を統一する関数形を提案し、Negligible in Size, Significant in Effectがスケールベクトルの過小評価されてきた重要性を実証した。前回レポートのLanguage Models Need Sleepが生物学的着想からのアーキテクチャ改善を提案したのに対し、今回はMoEの実用的スケーリングとモデル内部構造の理解深化が並行して進んでいる。M2のself-evolutionは、前回のQUESTが示した合成データによるエージェント訓練の延長線上にあり、モデルが自身の訓練過程に介入する方向への移行が加速している。

エージェント・メモリ設計

Personalize-then-Store(33 upvotes)がエージェントメモリのパーソナライズ問題を初めて体系的に定式化し、Efficient Agentic RL(11 upvotes)がツール使用の知識境界問題を特定した。同日のarXiv cs.AIではIs Agent Memory a Database?がエージェントメモリを新たなデータ管理ワークロードとして定義するGEMフレームワークを提案し、Your Agents Are Aging Tooがデプロイ後のエージェント劣化を縦断的に測定するAgingBenchを導入した。前回のFoundation Protocolがエージェント間協調の標準化に注力したのに対し、今回は個々のエージェントの内部状態管理(メモリとツール使用判断)の精緻化が焦点である。パーソナライズドメモリ、知識境界認識、メモリの状態遷移管理という3つの独立した研究が同日に現れたことは、エージェント研究がシステム内部の信頼性設計フェーズに入ったことを示唆する。

安全性・アライメント

D²-Monitor(31 upvotes)が拡散型LLMという新たなアーキテクチャに対する安全性モニタリングを開拓し、arXiv cs.CLではLURE(Live-Usage Replay Evaluations)がLLMの評価認識問題に取り組んだ。同日のarXivではDirectional Alignmentがreward hackingの幾何学的理解に基づく緩和策を提案し、Model Unlearning Objectives Vary for Distinct Language Functionsが言語機能ごとにアンラーニング目的を分離すべきことを主張した。前回のDVAOが多報酬アライメントの最適化面を扱ったのに対し、今回は安全性の検出・監視・評価面に焦点が移っている。特にD²-Monitorの拡散型LLM対応は、LLaDAなどのD-LLMの台頭に伴い今後重要性を増す領域である。

推論効率化・テスト時スケーリング

Share More, Search Less(21 upvotes)が並列TTS分岐間の知識共有で探索効率を向上させ、Self-Verified Distillation がテスト時計算をトレーニング時に折り込むことで推論コストを1回に削減した。arXiv cs.CLではMicroSpecがコンテキスト適応型の軽量ボキャブラリによりspeculative decodingを51.6%高速化し、Targeted Remaskingが離散拡散言語モデルのデコーディングにおけるT2T編集の限界を克服するT2Mリマスキングを提案した。前回のThriftAttentionがハードウェアレベルの精度最適化、How Much Thinking is Enoughが過剰推論の理論的分析に注力したのに対し、今回は推論プロセス自体の構造的改善(分岐間共有、自己検証の事前化、ボキャブラリ圧縮)に焦点が移り、より実装寄りの効率化研究が目立つ。

マルチモーダル・視覚言語

LocateAnything(91 upvotes)がVLMグラウンディングの並列デコーディングで当日最高の注目を集め、LLaVA-OneVision-2(17 upvotes)がVLMの包括的な性能向上を達成した。同日のHugging Face Daily PapersではGemini Embedding 2(6 upvotes)がネイティブマルチモーダル埋め込みモデルを公開し、SpatialBench(57 upvotes)が空間基盤モデルの汎化能力を包括的に評価した。前回のToward Native Multimodal Modelingがロードマップ的な体系化を行ったのに対し、今回は具体的な技術的ブレークスルー(並列デコーディング、ネイティブエンコーダ)が実現段階にある。特にLocateAnythingの91 upvotesは、グラウンディングの速度・品質が実用的なVLMアプリケーションの普及における核心的課題であることを示している。

ソース