LLM/NLP最新論文

危機事象を捏造するAI生成動画の検出可能性を体系評価した論文が257 upvotesで突出。教師なしで情報非対称性を作る視覚オンポリシー蒸留が146 upvotesで続き、蒸留・長期記憶・発見能力ベンチマークといった「モデルを鍛える仕組み」側の論文が上位を固めた一日となった。

注目度

注目論文

Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination

著者: Shuo Liang, Yixing Ma, Pengfei Zhou et al.

近年の動画生成モデルは、戦争・災害・公衆衛生上の緊急事態といった現実の危機事象を、実写と見分けのつかない形で捏造できるようになっており、深刻な偽情報リスクを生んでいる(257 upvotes)。既存のベンチマークはこうした設定における検出器と生成器の振る舞いについて、限られた証拠しか与えてこなかった。

新規性: 検出器・生成器・SNS上での拡散という三者を切り離さずに評価した点が中核である。偽動画検出の研究は「検出器の精度」に閉じがちだが、実害が発生するのは検出器の性能・生成器の進歩・拡散速度が相互作用する場面である。危機事象という、誤情報が最も速く広がりかつ被害が大きい領域を対象に選んだうえで、検出器がどの生成器に弱いのかを体系的に測りにいっている。この日の最高得点であり、生成能力の進歩に対する防御側の評価基盤という関心の高さを示す。

手法: 現実の危機事象を題材とした生成動画を複数の生成器で構成し、検出器の挙動と社会的拡散の過程を横断して体系的に評価する。

Hugging Face Daily Papers

Self-Supervised Visual On-Policy Distillation

著者: Yijiang Li, Yijun Liang, Yunjie Tian et al.

視覚オンポリシー蒸留は、より大きく強い教師モデル、あるいは参照解答や注目領域の正解といった特権的な教師信号による「教師-生徒の情報非対称性」に強く依存してきた(146 upvotes)。ここから、そもそも有益な非対称性はどこから来るのかという根本的な問いが立つ。

新規性: 非対称性を「外から与えるもの」から「内部で作り出すもの」へ転回した点が中核である。強い教師を用意できることを前提にした蒸留は、フロンティアモデルに追随する側の手法にとどまる。自己教師ありで情報非対称性を構成できるなら、教師調達コストと特権情報のアノテーションコストを同時に外せる。同日のSimpleOPDやLatent On-Policy Self-Distillationと合わせ、オンポリシー蒸留が「教師依存をどう削るか」という共通課題に収束しつつあることが見て取れる。

手法: 外部の強い教師や特権的監督に頼らず、自己教師ありの構成によって蒸留に必要な情報非対称性を内部生成する視覚オンポリシー蒸留の枠組みを提示する。

Hugging Face Daily Papers

Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

著者: Yiwei Li, Wanli Yang, Hexiang Tan et al.

自律エージェントは長期ホライズンの実験を通じて、モデルやシステムなどの技術的成果物を改善する能力を高めつつある(41 upvotes)。しかしこの能力の現状を理解するには、最終スコアだけを見る評価では不十分である。最終スコアは、進歩がどこで得られどこで失われたのかを明らかにしないからである。

新規性: 「どこで得たか・どこで失ったか」を分解可能にした点が中核である。AI研究開発エージェントの評価は最終的な性能向上幅で語られがちだが、長期ホライズンのタスクでは、序盤の探索が効いたのか、途中の軌道修正が効いたのか、あるいは無駄な試行が損失を出したのかが混ざる。この分解ができなければ、エージェント設計のどの部分を改善すべきかが特定できない。同日のMeasuring Cross-Task Behavioral Consistency(成功率とは別軸の一貫性指標)と併せ、エージェント評価が結果指標からプロセス指標へ広がる動きが重なっている。

手法: 長期ホライズンのAI研究開発タスクにおけるエージェントの進捗を、最終スコアではなく過程の得失に分解して体系的に評価する枠組みを構成する。

Hugging Face Daily Papers

Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning

著者: Kai Chen, Jifeng Ding, Ning Ding et al.

Mobius-v0は、知識ベクトルを格納するグローバル共有Memory(FFN)と、合成的推論を反復的に達成する複数のReasoner(Self-Attn)から構成されるアーキテクチャである(31 upvotes)。隠れ状態をキャッシュ兼キャリアとして用い、Reasonerが必要な知識を求めてMemoryを繰り返し照会する。

新規性: Transformerの層構造を「知識の貯蔵」と「推論の実行」に明示的に分離した点が中核である。標準的なTransformerではFFNが知識を、注意機構が文脈統合を担うという解釈が経験的に共有されてきたが、それを設計原理として引き受け、FFNを共有化したうえでReasonerから反復照会させる構成に落とし込んでいる。知識と推論が分離されていれば、知識の更新と推論能力の強化を別々に扱える可能性が開ける。同日のModular Cognitive Architectureが「LLMに自然発生するモジュール性」を観測したのに対し、こちらはそれを設計として先取りしており、両者が対になって読める。

手法: 知識を保持する共有FFN(Memory)と推論を担う複数のSelf-Attn(Reasoner)を分離し、隠れ状態を介した反復的な知識照会によって合成的推論を実現する。

Hugging Face Daily Papers

Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence

著者: Brian Wang, Bin Feng, Xiaoman Pan et al.

アポロ計画が月に到達したのは、技術者が難しい方程式を解けたからではない。遠大な野心を、明示的な目標・シミュレーション・検証・反復的な修正からなるミッションアーキテクチャへ変換したからである(23 upvotes)。AIもいま同様の移行に直面しており、フロンティアモデルは難問を解けるようになった。

新規性: 「問題を解く能力」と「発見を成し遂げる能力」を別物として切り分けた点が中核である。ベンチマークスコアの向上は前者を測るが、科学的発見に必要なのは目標設定・検証・軌道修正を含むミッション遂行の全体である。アポロ計画という比喩を単なる修辞ではなく評価設計の骨格に据え、シミュレーションと検証を備えた環境群として実装した点に踏み込みがある。同日のBeyond Final Scoresが長期ホライズンの評価分解を扱っており、「解答能力から遂行能力へ」という評価軸の移行が複数方向から進んでいる。

手法: 明示的目標・シミュレーション・検証・反復修正を備えたミッションアーキテクチャとして、発見能力を評価・構築するための現実ベンチマークと環境群を構成する。

Hugging Face Daily Papers

SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

著者: Haonan He, Haodi Lei, Yun Luo et al.

オンポリシー蒸留(OPD)は、より強い教師モデルから推論能力を移転する有望な手段である(22 upvotes)。しかし長文脈推論の教師から短文脈の生徒へ適用しようとすると、トークナイザの不一致、教師と生徒の分布ミスマッチなど、実務上の課題が持ち上がる。

新規性: トークナイザ非依存という制約を正面から引き受けた点が中核である。異なるモデルファミリ間で蒸留する際、トークナイザが違えばトークン単位の分布を直接突き合わせられず、実際の運用ではこれが教師選択の制約になる。この障壁を外せば、教師モデルの選択肢がファミリを越えて広がる。同日のSelf-Supervised Visual On-Policy Distillationが教師の要否そのものを問うたのに対し、こちらは教師の互換性という実装レイヤの制約を解いており、OPDの適用範囲が二方向から拡張されている。

手法: トークナイザ不一致と教師生徒間の分布ミスマッチを回避する簡素な設計により、長文脈推論教師から短文脈生徒への蒸留を成立させる。

Hugging Face Daily Papers

Marionette: Predicting World States, Rendering Geometry, Painting Appearance

著者: Zian Meng, Zhen Li, Chuanhao Li et al.

対話型ゲームワールドモデルは通常、ピクセル空間または潜在空間で視覚観測を直接自己回帰する(22 upvotes)。この構成では、姿勢・幾何・遮蔽といった構造化された性質を、同一の生成系列が暗黙的に維持しなければならない。長期ホライズンでは、これら潜在的な世界の性質における誤差が蓄積していく。

新規性: 生成過程を「世界状態の予測 → 幾何のレンダリング → 外観の描画」という三段に分解した点が中核である。誤差蓄積を生成品質の問題ではなく表現設計の問題として捉え直し、暗黙に維持されていた構造を明示的な中間表現へ引き上げている。姿勢や遮蔽が独立した予測対象になれば、長期ホライズンでの一貫性を構造レベルで担保しやすくなる。前日のAlaya-EVOKEが持続コストを、DreamX-Phiが行動条件付けを扱ったのに続き、ワールドモデルの改善が「何を明示的に持つか」の設計問題へ収束しつつある。

手法: ピクセル/潜在空間の直接自己回帰をやめ、世界状態の予測、幾何のレンダリング、外観の描画という段階に分解した対話型ゲームワールドモデルを構成する。

Hugging Face Daily Papers

DFM Mimir v1: An Open HRM Delivering Frontier Performance at 1B Parameters Using Only Permissible Post-Training Data

著者: Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina et al.

現在の大規模言語モデル開発は、しばしば利用許諾の明確でない巨大データセットに依存しており、オープンソースと倫理的なデータ調達を重視する研究者にとって高い参入障壁となっている(21 upvotes)。本論文は、階層推論モデル(HRM)アーキテクチャに基づく10億パラメータの言語モデルMimir v1を提示する。

新規性: 「データ許諾を守りながらフロンティア性能に届くか」を実証課題として設定した点が中核である。ライセンス的に問題のないデータのみという制約は性能上不利に働くのが通例であり、それを1Bという小規模で成立させたと主張する点に賭けがある。同日のScaling Domain Data Repetition in LLM Pretraining(高品質ドメインデータの希少性とTPP比の緊張を扱う)と併せ、「データが尽きる」局面での戦略が複数方向から検討されていることが分かる。

手法: 階層推論モデル(HRM)アーキテクチャを基礎に、利用許諾の明確な事後学習データのみを用いて10億パラメータのモデルを訓練・公開する。

Hugging Face Daily Papers

MobileMem: Learning from a Year of Mobile Experiences

著者: Xinle Deng, Yida Xue, Xiangyuan Ru et al.

次世代のAIエージェントは、孤立した質問に答えるシステムから、ユーザーの経験を理解し記憶し継続的に学習する永続的なパーソナルアシスタントへ移りつつある(20 upvotes)。しかし既存のベンチマークは、経験が異種混合・マルチモーダル・時間変化的で、かつ極めて個人的であるという現実のモバイル環境には不十分である。

新規性: 記憶の対象を「事実」から「経験」へ移した点が中核である。既存の長期記憶ベンチマークは事実の保持と検索を測るが、実際のパーソナルアシスタントに要るのは、時間とともに更新される知識、暗黙の選好の推論、複数ホップの時間推論である。1年規模のモバイル体験を知識基盤合成パイプラインで一貫した長期軌跡へ組み上げるという構成は、この種のデータを現実的に作る方法も同時に示している。「過去を覚え、現在を理解し、未来に適応する」という三段の要件設定が、記憶研究の評価軸を整理している。

手法: ユーザーとアプリのセッションから、知識基盤の合成パイプラインで時間的に整合した長期軌跡を構成し、テキスト設定とマルチモーダル設定の両方でオンデバイス長期記憶を評価する。

Hugging Face Daily Papers

Modular Cognitive Architecture Emerges in Large Language Models

著者: Pengrui Han, Jacob Andreas, Evelina Fedorenko, Andrea Gregor de Varda

ヒトの脳は際立った機能特化を示し、言語・形式的推論・他者の心の推論・物理世界の推論をそれぞれ別のネットワークが支えている(11 upvotes)。このモジュール構成は知的システムの構築における普遍的原理なのか、それとも生物学的な脳に固有の進化的偶然なのか。本論文は、まったく異なる最適化過程で作られたLLMに同様の構成が現れるかを検証する。

新規性: 認知神経科学の機能特化仮説を、LLMを実験系として検証した点が中核である。4つの認知領域にまたがるN=46タスクの回路解析により、ヒトで同一ネットワークを使うタスクはLLMでも重なるニューロンを動員し、異なるネットワークを使うタスクは異なるニューロンを動員することが示された。脳と人工ニューラルネットワークでモジュール性が収斂的に出現するという結果は、それが知的システムの基本性質でありうることを示唆する。同日のIntern-S2-Mobiusが知識と推論の分離を設計として実装しており、自然発生と意図的設計が同じ日に並んだ形になっている。

手法: 言語・形式的推論・社会的推論・物理的推論の4領域にまたがる46タスクについてLLMの回路解析を行い、ヒト脳のネットワーク分化とニューロン動員パターンの対応を測定する。

Hugging Face Daily Papers

分野別の動向

知識蒸留・オンポリシー最適化

上位に自己教師あり視覚OPD(146 upvotes)とSimpleOPD(22 upvotes)が並び、さらにLatent On-Policy Self-Distillation(10 upvotes)、Verifier-Induced Support Reshaping in On-Policy Optimization(4 upvotes)が同日に揃った。共通するのは「教師依存とその副作用をどう外すか」で、前者二本が教師の要否と互換性を、後者二本が自己教師の設計と検証器がもたらす探索空間の縮退(RLVRが後続目的に必要な振る舞いをサンプル不能にしてしまう現象)を扱う。オンポリシー学習が普及段階に入り、実運用で現れる歪みへの対処が主戦場になりつつある。

評価・ベンチマーク

Apodex Discovery(発見能力)、Beyond Final Scores(長期ホライズンの得失分解)、Measuring Cross-Task Behavioral Consistency(成功率と独立した一貫性軸)、Inducing Reward-Free Judging Rubrics(LLM審査員の過大評価抑制)が同日に集まった。方向性は一致しており、「最終スコアという単一の数字では、エージェントの何が良くて何が壊れているか分からない」という認識である。cs.LGのDon’t Claim Benchmark-Oriented Optimization Improves General Coding Capabilityは、SWE-bench最適化がDjangoベースの独自タスクへほとんど転移しないことを実測しており、ベンチマーク過学習への警告が実証を伴って出てきている。

ワールドモデル・身体化AI

Marionetteが世界状態・幾何・外観への分解で長期誤差蓄積に対処し、H2R-Bench(16 upvotes)が人間の一人称操作動画からロボット操作動画生成への転移を測るベンチマークを提供、PRM-as-a-Judge 1.5(10 upvotes)はロボットのロールアウト動画を密な進捗曲線へ変換する評価ツールキットを出した。生成側と評価側が同時に整備されており、身体化AIが「作れるか」から「作ったものを正しく測れるか」へ重心を移している。

エージェント記憶・実行基盤

MobileMem(20 upvotes)が1年規模の経験を対象とした長期記憶ベンチマークを、SKILLER(14 upvotes)が小規模モデルからの再利用可能スキル抽出を扱う。cs.AI側ではOntology-Grounded Project Memory for Coding Agents(知識グラフによるコーディングエージェントのプロジェクト記憶。承継関係や集合完全性の問い合わせでベクタ検索が6〜27%しか拾えない場面で0.98〜1.00を達成)やAgentao(権限で仲介するローカルファーストのエージェント実行基盤)も並び、「重みの外側に何をどう置くか」の議論が記憶・スキル・権限の三方向で厚みを増している。

LLM基盤アーキテクチャ

Intern-S2-Mobius(31 upvotes)が知識と推論の分離を、Maglev(14 upvotes)が固定サイズ記憶を持つスライディング再帰Transformerを、Dion3(4 upvotes)がMuonオプティマイザの直交化コストと通信オーバーヘッドの削減を提示した。cs.LGのThe Query Knows What to Forget(線形注意の消去方向をキー由来からクエリ由来へ拡張し、S-NIAH-1で実用文脈長を約2倍に)も含め、長文脈と効率の両立に向けた構造的な工夫が続いている。

解釈可能性・モデルの内部

Modular Cognitive Architecture(11 upvotes)が認知領域ごとのニューロン分化を示し、Multimodal Model Diffing(8 upvotes)がMLLMの内部特徴の発見と制御を扱う。cs.AIのStable Miscalibration in Large Language Modelsは、高信頼度の誤答が摂動に対して安定でありうる(つまり「脆いから間違える」わけではない)ことを示し、A Calibrated Test of Internal Action Mapsは状態のデコード可能性・因果的利用可能性・再利用可能な写像の成立が互いに分離可能であることを報告した。内部表現の「読めること」と「使えること」の距離を測る仕事が増えている。

ソース