MinTが141 upvotesでLoRA大規模運用インフラを提示し、MulTaBenchが117 upvotesでマルチモーダル表形式学習の評価基盤を確立。長文脈VLM学習レシピ（73 upvotes）やAnyFlow動画生成（75 upvotes）も高注目で、エージェントのメタ認知推論やVLA効率化も活発に議論された。
注目論文
MinT: Managed Infrastructure for Training and Serving Millions of LLMs
著者: Mind Lab, Song Cao, Vic Cao et al.
LoRAポストトレーニングとオンラインサービングのためのマネージドインフラシステム。少数の高コストなベースモデルデプロイメント上で数百万のLoRAポリシーを効率的に学習・提供する設計を提示した（141 upvotes）。
新規性: 各ポリシーを独立モデルとしてマージ・デプロイするのではなく、ベースモデル上のLoRAアダプタとして管理することで、学習からサービングまでを一貫して効率化するインフラアーキテクチャを提案した点が大きい。大規模LLM運用における実務的なボトルネックに直接対処している。
手法: LoRAの低ランク適応を前提に、学習済みポリシーをベースモデルにマージせず動的にロード・切り替えするサービングアーキテクチャを構築する。学習パイプラインとサービングパイプラインを統合的に管理し、ポリシー数のスケーリングに対して線形以下のリソース増加を実現する。
MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image
著者: Alan Arazi, Eilam Shapira, Shoham Grunblat et al.
Tabular Foundation Modelは数値・カテゴリカルデータの汎用表現学習で最先端を確立したが、テキストや画像などの非構造化モダリティへの対応が欠如している。本研究はテキスト・画像を含むマルチモーダル表形式データの包括的ベンチマークを構築した（117 upvotes）。
新規性: 表形式データにおけるマルチモーダル学習を体系的に評価する初の大規模ベンチマークであり、既存のTabular Foundation Modelが非構造化モダリティをどの程度活用できるかを定量的に明らかにした点が貢献である。
手法: 数値・カテゴリカル特徴に加えてテキスト列・画像列を含む多様なデータセットを収集・標準化し、既存の表形式学習モデルとマルチモーダルモデルを統一的に評価する。モダリティの組み合わせによる性能変化を系統的に分析している。
AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation
著者: Yuchao Gu, Guian Fang, Yuxin Jiang et al.
一貫性蒸留によるステップ削減は動画生成を大幅に高速化したが、テスト時にステップ数を増やすと性能が劣化する問題があった。本研究は任意ステップ数で安定した品質を実現する動画拡散モデルを提案した（75 upvotes）。
新規性: 既存の一貫性蒸留モデルがステップ数増加で劣化する根本原因を分析し、オンポリシーなフローマップ蒸留により任意ステップ数での安定生成を実現した点が独自である。少ステップの高速生成と多ステップの高品質生成を単一モデルで両立する。
手法: フローマッチングベースの動画拡散モデルに対し、学生モデル自身の生成軌跡（オンポリシー）上でフローマップを蒸留する。ステップ数に依存しない一貫した品質を実現するための学習目的関数を設計している。
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
著者: Zhaowei Wang, Lishu Luo, Haodong Duan et al.
長文脈モデリングはVLMの中核能力となりつつあるが、実践的な学習レシピの探索は不十分であった。本研究は長文書理解・動画分析・マルチターンツール利用にまたがる長文脈VLMの体系的な学習方法論を提示し、128Kコンテキスト超への汎化を実現した（73 upvotes）。
新規性: 長文脈VLMの学習における位置エンコーディング、データ構成、カリキュラム設計などの要素を系統的に比較し、128K超への汎化を達成する実践的レシピを特定した点が実用的価値が高い。
手法: 段階的な文脈長拡張、位置エンコーディングの外挿手法、長文脈データの構成戦略を組み合わせた学習パイプラインを設計する。複数のタスク（文書理解、動画分析、エージェントワークフロー）にわたる統一的な評価により、汎化性能を検証している。
EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents
著者: Tara Bogavelli, Gabrielle Gauthier Melançon, Katrina Stankiewicz et al.
音声エージェントは企業アプリケーションで広く導入されつつあるが、リアルな会話シミュレーションと品質測定を統合的に扱うベンチマークが存在しなかった。本研究は音声エージェントのエンドツーエンド評価フレームワークを提案した（55 upvotes）。
新規性: 会話シミュレーション生成と品質評価の2つの課題を統合的に扱う初のベンチマークであり、テキストベースのチャットボット評価とは質的に異なる音声固有の評価軸を体系化した点が貢献である。
手法: リアルなシミュレーション会話を自動生成するパイプラインと、タスク完遂・応答品質・音声固有品質を多面的に評価するメトリクスを設計する。複数の音声エージェントシステムを統一的に比較評価している。
Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling
著者: Eilam Shapira, Moshe Tennenholtz, Roi Reichart
AIエージェント同士が自然言語で交渉・取引する場面で、相手のLLM・プロンプト・制御ロジックが隠された状態から、限られた対話履歴に基づいて相手の意思決定を予測するテキスト・表形式統合モデリング手法を提案した（42 upvotes）。
新規性: 対話相手のAIエージェントをブラックボックスとして扱い、少数の対話ログからその行動パターンを予測する問題設定が実践的かつ独自である。テキスト情報と構造化された行動履歴を統合するモデリングアプローチも新しい。
手法: 対話ログからテキスト特徴と表形式特徴（提案価格、応答時間、譲歩パターン等）を抽出し、両モダリティを統合した予測モデルを構築する。限られた対話回数で相手エージェントの意思決定関数を近似する。
Qwen-Image-VAE-2.0 Technical Report
著者: Zekai Zhang, Deqing Li, Kuan Cao et al.
高圧縮率VAEにおける再構成品質と拡散モデルでの生成適性の両立を追求し、Global Skip ConnectionとMulti-Scale Discriminatorを導入した改良アーキテクチャを提案した（40 upvotes）。
新規性: 高圧縮率での再構成ボトルネックに対して、アーキテクチャレベルの改善により再構成忠実度と拡散可能性（diffusability）の両方を大幅に向上させた点が貢献である。
手法: Global Skip Connectionにより高圧縮時の情報損失を補償し、Multi-Scale Discriminatorにより多解像度での再構成品質を向上させる。拡散モデルの潜在空間として使用した際の生成品質も評価指標に含めている。
Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
著者: Tsz Ting Chung, Lemao Liu, Mo Yu et al.
長文脈モデルの登場により数十〜数百例を用いた多ショットICLがファインチューニング相当の性能を達成しつつあるが、そのメカニズムの理解は不十分であった。本研究はCoT付き多ショットICLが実際に「学習」しているメカニズムを解明した（26 upvotes）。
新規性: 多ショットICLが単なるパターンマッチングではなく、例数増加に伴いタスク固有の推論能力を獲得していくプロセスを実証的に示した点が重要である。ICLの理論的理解を前進させている。
手法: CoT付きICLにおける例数と性能の関係を体系的に分析し、内部表現の変化を追跡することでICLの学習ダイナミクスを明らかにする。ファインチューニングとの比較により、両者の類似点と相違点を特定している。
Deep Reasoning in General Purpose Agents via Structured Meta-Cognition (DOLORES)
著者: Dean Light, Michael Theologitis, Kshitish Ghate et al.
現行のLLMエージェントはスキャフォールディング構造を事前にハードコードしており、タスクに応じた推論構造の適応ができない。本研究は推論時にタスク適応的なスキャフォールドを構築するメタ認知フレームワークDOLORESを提案し、8Bモデルで32Bベースラインを上回る性能を達成した。
新規性: スキャフォールディングを固定構造ではなく「適応的推論」として扱い、推論時にタスクが要求する構造を動的に構築する点がパラダイム的に新しい。8Bモデルが32Bモデルを超えるスケーリングギャップの解消も注目に値する。
手法: 連想推論・形式計算・再帰的部分問題解決を組み合わせた形式言語でメタ推論を記述し、テスト時にインコンテキスト例を参照してタスク固有のスキャフォールドを構築する。認知負荷を分散させることで早期終了や幻覚を低減する。
The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
著者: Cedric Flamant, Theo Gigant, Kanna Shimizu
2つの凍結済みLMをテキスト生成を介さず中間隠れ状態の連続チャネルで結合し、ツール連携を実現する新アーキテクチャを提案。0.5Bモデル2つの結合で計算機使用時に精度36%から96%へ向上し、ZebraLogicでは1.7倍の性能改善を達成した。
新規性: LM間の協調をテキスト直列化ではなく連続的な隠れ状態の双方向結合で実現するという根本的に新しいアーキテクチャ提案である。全パラメータの約1%の学習可能パラメータのみで2つの凍結モデルを効果的に結合する。
手法: 各生成ステップで2つのモデルが同期的に動作し、学習可能な翻訳ネットワークと抑制ゲートを通じて互いの活性化を条件として利用する。ゲートはタスク損失のみから選択的な通信プロトコルを自律的に学習する。
FrameSkip: Learning from Fewer but More Informative Frames in VLA Training
著者: Bin Yu, Shijie Lian, Xiaopeng Lin et al.
VLAポリシーはテレオペレーションで収集された密な軌跡の全フレームを同等に扱うが、これは時間的な監視不均衡を生む。本研究は情報量の多いフレームを選択的に学習することで、より効率的なVLA学習を実現した（19 upvotes）。
新規性: ロボット操作のデモ軌跡における「全フレーム等価」という暗黙の仮定を疑い、フレーム間の情報量の不均衡を定量化・活用する点が独自である。少ないフレームでより良い学習を実現する。
手法: デモ軌跡の各フレームの情報量を評価し、学習に寄与するフレームを選択的にサンプリングする。冗長な待機・移動フレームを除外し、状態変化の大きいフレームに監視信号を集中させることで学習効率を向上させる。
LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models
著者: Songtao Wei, Yi Li, Zhikai Li et al.
OpenAI o1やDeepSeek-R1などの推論モデルは能力向上に伴いCoT軌跡が過度に冗長化する。本研究は問題の難易度に応じてCoTの長さを適応的に制御し、精度を維持しつつ計算コストを削減する手法を提案した（5 upvotes）。
新規性: 推論モデルの冗長性問題に対し、固定的な長さ制約ではなく問題固有の適応的制御を実現した点が実用的である。精度と効率のトレードオフを動的に最適化する。
手法: 入力問題の複雑度を推定し、それに基づいてCoTの生成長を動的に調整する。簡単な問題では短い推論で早期終了し、難しい問題には十分な推論ステップを割り当てることで、全体的な計算予算を効率化する。
分野別の動向
大規模LLMインフラ・効率化
本日最大の注目はMinT（141 upvotes）で、LoRAベースのポリシー大規模運用インフラという実務的課題に直接取り組んでいる。前日のToken Superpositionが学習効率化を扱ったのに対し、MinTはサービング側のスケーラビリティに焦点を当てており、LLMの産業利用が学習からデプロイメント全体の最適化へと成熟しつつあることを示している。arXivではScaling Laws for Mixture Pretrainingがデータ制約下での混合学習のスケーリング則を分析しており、データ効率化の理論的基盤の整備も進んでいる。
ベンチマーク・評価手法
MulTaBench（117 upvotes）、EVA-Bench（55 upvotes）、Edit-Compass（30 upvotes）と、異なる領域で大規模ベンチマークが同時に登場した。特にMulTaBenchは表形式データのマルチモーダル拡張という未開拓領域を切り開き、EVA-Benchは音声エージェント評価の標準化を目指している。arXivではAgentLensがSWEエージェント評価の「幸運な合格」問題を指摘し、BenchJackがベンチマーク自体のセキュリティ監査を自動化しており、評価の信頼性に対するメタレベルの批判的検証が活発化している。
エージェントの推論・メタ認知
DOLORES（Deep Reasoning）がスキャフォールディングの動的構築によりエージェント推論を構造的に改善し、8Bモデルで32Bベースラインを超える成果を示した。arXivではAgent-BRACEが信念状態の明示的表現による長期的推論の改善、MAPが認知マップ理論に基づく環境理解先行型エージェントを提案しており、エージェントの内部表現と推論構造の洗練が研究の中心テーマとなっている。前日のワールドモデル研究群からの連続的な発展が見られる。
マルチモーダル生成・表現学習
AnyFlow（75 upvotes）が任意ステップ動画生成、Qwen-Image-VAE-2.0（40 upvotes）が高圧縮VAEの品質向上、TrackCraft3R（29 upvotes）が動画拡散トランスフォーマーの3Dトラッキング転用を提案した。Bicameral Modelは2つのLMの連続的結合という根本的に新しいアーキテクチャを示しており、モデル間協調の新たなパラダイムを提示している。arXivではAsymmetric Flow Modelingがランク非対称な速度パラメタリゼーションによるフロー生成の改善を提案しており、生成モデルの理論的基盤の深化も続いている。
LLM推論効率化・ICL
LEADが推論モデルのCoT冗長性を適応的に制御し、Many-Shot CoT-ICLが多ショットICLの学習メカニズムを解明した。arXivではBitLMがバイナリコード表現による複数トークン並列生成を提案し、SOMAが小規模モデルによるマルチターン対話の効率的サービングを示している。推論時の効率化が単なるステップ数削減から、トークン生成の並列化やモデルサイズの適応的選択へと多角化している。