文脈からのスキル抽出によるLM推論強化、実世界ロボット展開向けVLAモデル、統一映像生成フレームワークなど、基盤モデルの実用性を高める研究が集中。トークン化の最適化やハルシネーション対策といった基盤技術の深化も進む。
注目論文
From Context to Skills: Can Language Models Learn from Context Skillfully?
著者: Shuzheng Si, Haozhe Zhao, Yu Lei et al.
多くの実世界タスクはLMのパラメトリック知識を超える複雑な文脈についての推論を要求する。本研究は文脈から関連知識を「スキル」として抽出し、推論時に活用する手法を提案した（120 upvotes）。
新規性: 文脈学習を「スキル抽出→スキル適用」の二段階に分解し、推論時にスキルを増強する直感的な解決策の有効性と限界を体系的に分析した点が重要である。文脈理解の本質に迫る問題設定を確立した。
手法: 与えられた文脈から関連するスキル（知識パターン）を自動抽出し、それを推論時に明示的に付与することでLMの文脈学習能力を強化する。スキルの質と適用方法が性能に与える影響を多角的に検証している。
MolmoAct2: Action Reasoning Models for Real-world Deployment
著者: Haoquan Fang, Jiafei Duan, Donovan Clay et al.
Vision-Language-Action（VLA）モデルは汎用ロボット制御を目指すが、現行のフロンティアモデルはクローズド、オープンウェイト代替は高価なハードウェアに依存し、推論増強ポリシーは遅延コストが大きい。本研究は実世界展開基準を満たすVLAモデルを提案した（160 upvotes）。
新規性: オープンウェイトかつ低コストハードウェアで動作可能なVLAモデルを実現し、推論コスト・レイテンシ・実用性のトレードオフを根本的に改善した点が画期的である。実世界ロボット展開の民主化に直接貢献する。
手法: アクション推論モデルとして設計され、視覚・言語・行動の統合推論を効率的に実行する。高価な専用ハードウェアへの依存を排除しつつ、実世界タスクでの信頼性を確保するアーキテクチャ設計を採用している。
UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors
著者: Houyuan Chen, Hong Li, Xianghao Kong et al.
映像拡散モデルを多様なマルチモーダルグラフィクスタスクに転用する研究が進むが、既存手法は問題設定ごとに個別モデルを訓練し、入出力マッピングを固定してしまう。本研究はモダリティ間の相関をモデル化する統一フレームワークを提案した（74 upvotes）。
新規性: 複数のマルチモーダル映像生成タスクを単一モデルで統一的に扱い、モダリティ間の相関を明示的にモデル化する点が独自である。個別タスクごとの訓練コストを排除しつつ高品質な生成を実現した。
手法: 拡散事前分布を活用し、異なる入出力モダリティの組み合わせを柔軟に処理する統一アーキテクチャを設計。モダリティ間の相関学習により、タスク横断的な知識共有と生成品質の向上を同時に達成する。
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs
著者: Siyuan Huang, Xiaoye Qu, Yafu Li et al.
自己回帰型大規模視覚言語モデル（LVLM）はテキスト履歴の蓄積により注意の分配関数が拡大し、視覚注意が生成長に反比例して減衰する「視覚信号希薄化」現象が生じる。本研究はこの問題を解決する視覚記憶持続メカニズムを提案した（12 upvotes）。
新規性: テキスト生成の進行に伴う視覚注意の体系的減衰を「視覚信号希薄化」として定式化し、視覚情報を持続的に維持するメカニズムを初めて導入した。長文生成における視覚的忠実性の根本的な課題に対処している。
手法: 注意分配関数の拡大による視覚トークンへの注意減衰を防ぐ持続的視覚記憶メカニズムを設計。テキスト履歴長に依存せず視覚信号を一定水準で保持し、深い生成段階でも視覚的グラウンディングを維持する。
Compute Optimal Tokenization
著者: Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer et al.
スケーリング則はデータ量とモデルサイズの最適選択を可能にするが、データの単位であるトークンの情報粒度がこの関係に与える影響は未解明であった。本研究は圧縮率がスケーリングトレンドに与える影響を体系的に調査した（12 upvotes）。
新規性: 計算最適構成ではモデルパラメータ数がトークン数ではなくバイト数に比例してスケールすることを実証し、最適圧縮率がBPEの値と異なり計算量の増加に伴い減少することを発見した。スケーリング則の理解を根本的に更新する知見である。
手法: BLT（Byte Latent Transformer）を用い、50Mから7Bパラメータにわたる988モデルを訓練。圧縮率を連続的に制御し、英語以外の言語やサブワードトークン化にも一般化することを確認した。
Hallucinations Undermine Trust; Metacognition is a Way Forward
著者: Gal Yona, Mor Geva, Yossi Matias
LLMの事実信頼性は大幅に向上したものの、特に複雑・微妙な設定ではハルシネーションが依然として重大な懸念事項である。本研究はメタ認知アプローチによるハルシネーション対策の方向性を提示した（8 upvotes）。
新規性: 最も単純な事実質問応答設定においてもハルシネーションが信頼を損なうことを示し、モデルが自身の確信度を適切に判断する「メタ認知」を前進路として位置づけた。単なる精度向上ではなく、信頼性の枠組み自体を再定義する提案である。
手法: LLMが自身の知識の限界を認識し、確信度に基づいて応答を調整するメタ認知的枠組みを提案。不確実な場合の適切な回避行動と、確信度キャリブレーションの改善を通じてハルシネーションの影響を軽減する。
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
著者: Ansar Aynetdinov, Patrick Haller, Alan Akbik
大規模英語ウェブコーパスの高品質サブセットへのフィルタリングが訓練効率を大幅に改善することが示されているが、ドイツ語のような高リソース非英語言語では積極的なフィルタリングが戦略的ジレンマを生む。本研究はこのトレードオフを実証的に解明した（12 upvotes）。
新規性: 高リソース非英語言語において「多様性よりも高品質データの反復」が有効であることを実証し、非英語言語モデリングにおけるデータ戦略の指針を提供した。英語中心の知見の非自明な一般化である。
手法: ドイツ語ウェブコーパスに対し異なるフィルタリング強度と反復戦略を体系的に比較。高信号データの反復使用が多様だが低品質なデータの利用を上回ることを、サンプル効率の観点から検証した。
Step-level Optimization for Efficient Computer-use Agents
著者: Jinbiao Wei, Kangqi Ni, Yilun Zhao et al.
コンピュータ操作エージェントはGUIを通じた汎用ソフトウェア自動化の有望な方向性だが、強力なエージェントはリソース集約的である。本研究はステップレベルの最適化により推論効率と性能を両立する手法を提案した（14 upvotes）。
新規性: コンピュータ操作エージェントの各ステップを個別に最適化することで、エンドツーエンドの効率を大幅に改善する点が実用的に重要である。アプリケーション固有の統合に依存せず、任意のGUIに対応できる汎用性を維持している。
手法: エージェントの各操作ステップにおける推論プロセスを最適化し、不要な計算を削減しつつ正確な行動決定を維持する。ベンチマーク性能の向上と推論コスト削減を同時に達成している。
Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence
著者: NVIDIA, Amala Sanjay Deshmukh, Kateryna Chumachenko et al.
Nemotronマルチモーダルシリーズの最新モデルであり、テキスト・画像・動画に加えて音声入力をネイティブサポートする初のモデルである。前世代Nemotron Nano V2 VLに対し全モダリティで精度向上を達成した（18 upvotes）。
新規性: 効率的なナノスケールモデルでありながら四つのモダリティ（テキスト・画像・動画・音声）をネイティブに処理できる点が独自である。オープンウェイトとして公開され、マルチモーダルAIの民主化に貢献する。
手法: 音声入力を既存のテキスト・画像・動画処理パイプラインに統合するアーキテクチャ設計を採用。効率性を維持しつつ全モダリティで一貫した精度向上を実現している。
Map2World: Segment Map Conditioned Text to 3D World Generation
著者: Jaeyoung Chung, Suyoung Lee, Jianfeng Xiang et al.
3D世界生成は没入コンテンツ制作や自動運転シミュレーションに不可欠だが、既存手法はグリッドレイアウトに制約され、オブジェクトスケールの不整合が生じる。本研究はセグメントマップを条件とするテキストから3D世界への生成手法を提案した（21 upvotes）。
新規性: セグメントマップによる空間的制御とテキストによる意味的制御を組み合わせ、グリッドレイアウトの制約を排除した柔軟な3D世界生成を実現した。スケール整合性の問題に直接対処している。
手法: セグメントマップをレイアウト条件として活用し、テキスト記述と組み合わせて3D世界を生成する。空間的構造の明示的指定により、オブジェクト間のスケール整合性と配置の自然さを確保する。
分野別の動向
LLM基盤技術・訓練効率化
Compute Optimal Tokenizationが「最適なトークン圧縮率は計算量に依存しBPEとは異なる」という重要な知見を提示し、スケーリング則の理解を更新した。Repetition over Diversity（12 upvotes）は非英語言語における「品質重視の反復訓練」の有効性を実証している。Component-Aware Self-Speculative Decoding（arXiv）はハイブリッドアーキテクチャの内部構造を活用した推論高速化を提案しており、モデルアーキテクチャの多様化に伴う効率化手法の細分化が進んでいる。
マルチモーダル・生成モデル
UniVidX（74 upvotes）が映像生成タスクの統一フレームワークを確立し、Nemotron 3 Nano Omni（18 upvotes）が音声を含む四モダリティのネイティブ処理を効率的なモデルで実現した。Persistent Visual Memory（12 upvotes）はLVLMの視覚注意減衰という根本問題に取り組んでいる。マルチモーダルモデルの「広さ」（対応モダリティの拡大）と「深さ」（既知の問題の解決）の両面で進展が見られる。
エージェント・実世界展開
MolmoAct2（160 upvotes）がロボットVLAモデルの実世界展開障壁を大幅に引き下げ、Step-level Optimization（14 upvotes）がGUIエージェントの推論効率を改善した。HiL-Bench（1 upvote）は「エージェントがいつ助けを求めるべきか判断できるか」という実用上重要な評価軸を提案している。エージェントの能力拡張から実世界での信頼性確保へと研究の重心が移行している。
安全性・信頼性
Hallucinations Undermine Trust（8 upvotes）がメタ認知アプローチによるハルシネーション対策を提案し、Model Organisms Are Leaky（arXiv）がファインチューニング目的の事後検出手法を示した。FlashRT（arXiv）は長文脈LLMへのプロンプトインジェクション攻撃の効率的なレッドチーミングを提案している。信頼性の定量化と攻撃検出の両面で手法が洗練されている。
RAG・情報検索
Hierarchical Abstract Tree（3 upvotes）が文書横断RAGのための階層的インデックス構造を提案し、CoRM-RAG（arXiv）が認知バイアスを含むクエリに対するロバストな検索を実現した。RAGの課題が単純な関連性マッチングから、構造化された知識管理と認知的堅牢性へと高度化している。