LLM/NLP最新論文

永続記憶と長期生成を両立する対話型ワールドモデルAlaya-EVOKEが113 upvotesで首位。行動条件付き動画ワールドモデルDreamX-Phiが続く一方、LLMルータ・長期記憶・スキル抽出といったエージェント運用基盤の論文が上位に集中し、生成の質より「回し続ける仕組み」に関心が寄った一日となった。

注目度

注目論文

Alaya-EVOKE: From Linear-Scaling Supervision to Endless World

著者: Yuanyang Yin, Gongxuan Wang, Yifan Zhan et al.

対話型ワールドモデルは、永続的な記憶・応答性の高い対話・長期ホライズンの生成という三つを同時に満たす必要があるが、これらの要求はモデルに相反する負荷をかける(113 upvotes)。履歴をデノイザの文脈やKVキャッシュに保持し続ければコストが増大し続け、セッション長との間にトレードオフが生じる。

新規性: 「履歴保持コストが線形に伸びる」という構造そのものを設計上の敵として名指しした点が中核である。長期生成の議論は生成品質や一貫性に集まりがちだが、実際に対話型システムを走らせ続けるうえでの制約はコストの伸び方にある。線形にスケールする監督から脱け出して終わりのない世界(endless world)へ、という定式化は、ワールドモデルを「デモ」から「常時稼働するもの」へ移す方向を明示している。この日の最高得点であり、関心の重心が生成の見栄えから持続可能性へ移りつつあることを示す。

手法: 永続記憶・応答的な対話・長期生成の相反する要求を、履歴保持コストがセッション長に対して線形に伸びない形で両立させる対話型ワールドモデルを構成する。

Hugging Face Daily Papers

LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

著者: Tao Feng, Fangxu Yu, Haozhen Zhang et al.

すべてのクエリと予算制約に対して最適な単一のLLMは存在せず、費用対効果の高い運用にはモデルルーティングが不可欠になる(99 upvotes)。しかし既存のルータは定式化も実装もばらばらで、公平な比較や拡張が難しい状態にある。

新規性: ルーティング研究の「共通言語」を用意した点が中核である。個々のルータの精度を1ポイント上げる仕事ではなく、統一された定式化と、開発・評価・デプロイを貫く基盤を提供することで比較可能性そのものを作りにいっている。ベンチマーク不在の領域では手法の優劣が実験設定に埋もれるため、この種の整備は後続研究の伸び方を左右する。99 upvotesという反応は、モデル選択のコスト最適化がすでに研究課題ではなく運用課題として広く共有されていることの反映と読める。

手法: 多様なルータ形式を包含する統一的な定式化を与え、その上で開発・評価・デプロイを一貫して扱えるインフラストラクチャを実装する。

Hugging Face Daily Papers

DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation

著者: DreamX Team, Rui Chen, Xiangxiang Chu et al.

観測フレーム・言語指示・エンドエフェクタ姿勢とグリッパ状態からなる行動系列を与えると、その結果生じる未来の観測を予測する、ロボット操作向けの行動条件付き動画ワールドモデルである(87 upvotes)。

新規性: 「リアルなだけでは足りない」という問題意識を前面に置いた点が中核である。動画生成モデルの評価は視覚的な尤もらしさに引きずられやすいが、ロボット操作のワールドモデルに要るのは、指定した行動系列に対して正しい結果を返すという条件付けの忠実さである。行動を明示的な条件入力として、しかもエンドエフェクタ姿勢とグリッパ状態という制御側の表現で受け取る設計は、生成モデルを制御ループに組み込む前提を明確にしている。同日のAlaya-EVOKEが対話型の持続性を、こちらが制御可能性を突いており、ワールドモデルの評価軸が二方向に分岐しつつある。

手法: 観測フレーム・言語指示・行動系列(エンドエフェクタ姿勢とグリッパ状態)を条件として未来観測を予測する動画ワールドモデルを学習する。

Hugging Face Daily Papers

Intern-S2-Preview: Scientific Agentic Foundation Model

著者: Lei Bai, Jiaqi Cao, Chiyu Chen et al.

科学的発見には、異種モダリティの科学的証拠を横断して推論し、科学ツールや実験環境と対話し、長い作業ホライズンにわたって進捗を維持できるAIが要る(50 upvotes)。本論文はこの要求に応える科学エージェント基盤モデル群を提示する。

新規性: 科学向けAIを「ツールを使えるチャットモデル」ではなく、エージェント能力を織り込んだ基盤モデルとして訓練対象に据えた点が中核である。汎用モデルにツールを後付けする構成に対し、異種モダリティの証拠統合と長期ホライズンの持続をモデル側の設計要件として引き受ける。著者リストが100名を超える大規模な組織的取り組みであることも、この方向が個別手法ではなく基盤整備の段階に入りつつあることを示す。同日のOmniScientistが同じ問題意識をワークフロー側から扱っており、科学AIが「網羅から証拠へ」向かう動きが重なって見える。

手法: 異種モダリティの科学的証拠に対する推論、科学ツール・環境との対話、長期タスクの遂行を要件として設計・訓練した科学エージェント基盤モデルのシリーズを構築する。

Hugging Face Daily Papers

How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review

著者: Ming Li, Chenguang Wang, Xirui Li et al.

LLMが科学評価に関与する度合いが増すなかで、著者らは報酬ハッキングの一形態を検証する(43 upvotes)。報告される科学的内容を保ったまま修辞的な選択を変えたとき、AI査読の判定がどう動き、その効果が評価条件によってどう変わるかを、統制されたデータで調べている。

新規性: 「中身を変えずに書き方だけを変える」という統制を効かせた点が中核である。AI査読の弱点は逸話として語られてきたが、科学的内容を固定したまま修辞だけを操作すれば、スコアの変動はすべて修辞感受性に帰属できる。これは査読という高い実効性を持つ場面での報酬ハッキングの実証であり、LLM-as-a-judge一般に及ぶ警告でもある。前日のReasoning Juryが単一審査員の不安定性への構造的処方箋を示したのに対し、こちらは審査員が何に釣られるかを特定しており、評価の健全性という同じ問題の別側面を突いている。

手法: 科学的内容を保存したまま修辞的表現を操作した統制データセットを構成し、評価条件を変えながらAI査読の判定変動を測定する。

Hugging Face Daily Papers

Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

著者: Haokai Zhang, Yuhang Ding, Yunshu Zhou et al.

空間知能は身体化エージェント・ロボット計画・マルチモーダルアシスタントの基盤になりつつある(36 upvotes)。VLMエージェントの空間推論を高める既存研究は主に二つの系統に分かれ、一つは教師ありファインチューニングや強化学習といった事後訓練による。

新規性: 空間推論の改善を重み更新ではなく記憶の設計問題として扱った点が中核である。事後訓練は毎回コストがかかり、獲得した空間的知見がタスクをまたいで再利用されるとは限らない。経験に根ざした手続き記憶(procedure memory)として蓄積すれば、同種の空間タスクに遭遇したときに再利用できる。同日のLycheeMemory V2がLLMエージェントの長期記憶を、SKILLERがスキル抽出を扱っており、「重みの外に何を貯めるか」という問いが複数のドメインで同時に立っている。

手法: VLMエージェントの空間推論を、経験に根ざした手続き記憶の構築と参照によって強化する枠組みを構成する。

Hugging Face Daily Papers

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

著者: Zunhai Su, Bohan Sun, Xialie Zhuang et al.

層交互型のハイブリッド線形注意(HLA)LLMにおける巨大活性(massive activations, MA)を初めて系統的に調べた研究である(24 upvotes)。アーキテクチャに整合した二つの形態が見つかった。MAは全注意層の直前で一貫してスパイクを形成し(pre-attention spikes)、間に挟まる線形注意層を通り抜けて持続しうる。

新規性: 巨大活性という既知の現象を、ハイブリッドアーキテクチャという新しい文脈で読み直した点が中核である。全注意層と線形注意層を交互に積む構成が広がるなかで、活性の異常が層配置と対応した形で現れることを示した。スパイクの位置が全注意層の直前に固定されるという観測は、量子化や外れ値処理をアーキテクチャ非依存に設計してきた既存の前提を揺らす。実装側にとっては、どの層で外れ値対策を効かせるべきかの手がかりになる。

手法: 層交互型HLA LLMの活性を系統的に分析し、全注意層直前のスパイクと、線形注意層を挟んで持続するプラトーという二つの形態を特徴づける。

Hugging Face Daily Papers

SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

著者: Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li

エージェントスキルは手続き的知識と領域専門性を梱包する標準形式であり、エージェントハーネスの内部で言語モデルの振る舞い空間を継続的に制約し、再現性の高い高品質なタスク実行を可能にする機構として働く(9 upvotes)。ただし強力なクローズドモデルへの依存が課題となる。

新規性: 強化学習を重みではなく言語のレベルで回す点が中核である。スキルは自然言語で書かれた手続き的知識であるため、その改善もテキストの探索として扱えるという発想であり、小規模言語モデルでもスキル抽出を成立させる道を開く。前日のSkillZipがスキルライブラリの文脈予算を圧縮で解いたのに対し、こちらはスキルをどう作るかを扱っており、スキルというフォーマットを巡る研究が生成・圧縮・再利用へ分業し始めている。

手法: 言語レベルの強化学習によって、小規模言語モデルから再利用可能なエージェントスキルを抽出する。

Hugging Face Daily Papers

LycheeMemory V2: Efficient Long-Term Memory for LLM Agents via Semantic Segment-Level Consolidation

著者: Dongfang Li, Zixuan Liu, Junmai Wang et al.

長期ホライズンのLLMエージェントは、将来のタスクを支えるために過去の対話の情報を保持しなければならない(8 upvotes)。既存の記憶システムは多くの場合、対話のたびにLLMを呼んで抽出・要約・更新を行う即時統合(eager consolidation)に依存しており、記憶の構築コストが積み上がっていく。

新規性: 記憶統合の粒度とタイミングをコスト問題として捉え直した点が中核である。対話ごとに統合すれば新鮮さは保てるが、LLM呼び出し回数が対話数に比例する。意味的なセグメント単位でまとめて統合することで、この比例関係を崩しにいく。同日のSpatial Memory Agentが記憶の内容(手続き記憶)を問うたのに対し、こちらは記憶の運用コストを問うており、エージェント記憶の議論が「何を覚えるか」と「いくらで覚えるか」に分かれてきている。

手法: 対話ごとの即時統合をやめ、意味的セグメント単位での統合によって長期記憶の構築コストを抑える記憶システムを構成する。

Hugging Face Daily Papers

Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

著者: Joel Abenhaim

仕様優先(specification-first)のプロトコルの下で、AIコーディングエージェントが大規模なアーキテクチャリファクタリングを行った単一事例を、全過程を計測して報告している(6 upvotes)。生成コードへの人手レビューはなく、目標の振る舞いを検証する既存のオラクルも存在しない。タスクは71.7万行のコードベースにまたがる中核的な不変条件の解体で、189ファイルに及ぶ。

新規性: 「テストもレビューもない条件で、仕様だけを頼りに収束するか」を実測した点が中核である。AIコーディングの評価はベンチマーク上の小問題に偏りがちだが、実務で難しいのは検証手段が用意されていない大規模改修のほうである。中核不変条件の解体という、部分的な正しさが意味をなさないタスクを対象に選んでいる点も厳しい設定といえる。upvotesは6と控えめだが、エージェントに任せられる仕事の境界を経験的に測る種類の報告として価値がある。

手法: 仕様優先プロトコルの下でのAIエージェントによるリファクタリング全過程を計測し、単一事例研究として収束の様子を記録・分析する。

Hugging Face Daily Papers

分野別の動向

ワールドモデル・身体化AI

上位2本のうち2本がワールドモデルで占められた。Alaya-EVOKEは対話型ワールドモデルの持続コスト(履歴保持がセッション長に比例して膨らむ問題)を、DreamX-Phi 1.0は行動条件付けの忠実さを扱っており、評価軸が「見た目のリアルさ」から「長く回せるか」「指定通りに動くか」へ分岐している。同日にはH2R-Bench(人間動画からロボット操作への転移を測るベンチマーク)やAtlasVLA(VLAモデルの永続的な世界・自己状態モデリング)も並び、部分観測と長期ホライズンという共通の弱点に複数の側から手が入っている。

エージェント運用基盤(ルーティング・記憶・スキル)

LLMRouter、LycheeMemory V2、SKILLER、Spatial Memory Agentが揃って上位に入り、「モデルの外側」の整備に関心が集中した。ルーティングはコスト最適化、記憶は統合コストと再利用、スキルは抽出と再利用可能性を扱うが、いずれも重み更新ではなく運用構造の設計で性能とコストを動かそうとする点で一致する。前日のSkillZip・DarwinX・AutoDesignから続くハーネス志向の流れがそのまま太くなった形である。

評価の健全性

How Can Rhetoric Reward-Hack AI Reviewersは、科学的内容を固定したまま修辞だけを操作するとAI査読の判定が動くことを統制実験で示した。LLMを評価者として使う構成が査読・データ選別・強化学習の報酬にまで広がるなか、評価者の脆弱性を具体的な操作変数として特定する仕事の重みが増している。同系統ではOpenARTのようなエージェント安全性評価も含め、「測る側を測る」研究が層をなしつつある。

LLM基盤技術・効率化

Massive Activations in Hybrid Linear Attention LLMsは、全注意層と線形注意層を交互に積むハイブリッド構成に固有の活性異常を初めて系統化した。線形注意の採用が広がるにつれ、量子化や外れ値処理の前提をアーキテクチャごとに引き直す必要が出てきている。同日にはReRound(校正データ不要の量子化における丸めの曖昧性解消)やAn AI4AI Framework for Visual Token Pruning(視覚トークン枝刈り設計の自動化)も並び、効率化手法そのものを自動設計・再検証する動きが見える。

AIによる科学・ソフトウェア開発

Intern-S2-Previewは科学エージェントを基盤モデルの設計要件として引き受け、OmniScientistは全モダリティ・全分野のAI科学者を掲げる。一方Specification-first convergenceは、検証手段のない大規模リファクタリングをAIエージェントに委ねた事例を計測付きで報告した。生成能力の主張と、実務条件での限界の実測が同じ日に並んでおり、後者の蓄積が今後の期待値調整を担うことになる。

ソース