LLM/NLP最新論文

音声制御でリアルタイム動画を生成するVidu S1が108 upvotesで突出。実世界タスクの能動エージェント評価、身体性アーキテクチャの自動設計、CoT監視やモデル秘密の監査など、生成・エージェント・安全性の三方向で厚みのある一日となった。

注目度

注目論文

Vidu S1: A Real-Time Interactive Video Generation Model

著者: Jintao Zhang, Kai Jiang, Jintao Chen et al.

音声指示によってデジタルキャラクターを制御できる、リアルタイム・インタラクティブな動画生成モデル。ユーザーは任意のタイミングで音声命令を与え、生成内容をその場で操作できる(本日最高の108 upvotes)。

新規性: 音声制御を軸に、ぼやけ・ドリフト・視覚的破綻を伴わない無限長のリアルタイム動画生成を実現した点が貢献である。

手法: 音声命令を逐次反映しながら、無限長の映像を安定生成する対話的なパイプラインを構築し、実時間性と長時間の一貫性を両立させる。

Hugging Face Daily Papers

Video-Oasis: Rethinking Evaluation of Video Understanding

著者: Geuntaek Lim, Sungjune Park, Jaeyun Lee et al.

Video-LLMのベンチマーク性能が、視覚的知覚・言語的推論・知識事前分布のどれに由来するのかを切り分けにくいという問題に取り組む研究(43 upvotes)。高次推論を測る評価は増えたが、動画理解を評価する共通基準は乏しかった。

新規性: 動画理解の性能源泉を要素ごとに分離して評価する共有基準を提示し、Video-LLM評価の曖昧さを解消しようとする点が新しい。

手法: 視覚知覚・言語推論・知識に切り分けて診断できる評価設計を導入し、動画理解ベンチマークの解釈可能性を高める。

Hugging Face Daily Papers

Infinite Worlds with Versatile Interactions

著者: Zelin Gao, Qiuyu Wang, Jiapeng Zhu et al.

LingBot-World 2.0(LingBot-World-Infinity)として、四つの改良を備えたワールドモデルの発展版を提示する(26 upvotes)。丁寧に設計された因果的事前学習により、無限の相互作用ホライズンを保ちながら出力品質の一貫性を維持する。

新規性: 無限の相互作用ホライズンと一貫した出力品質を両立させ、多様なインタラクションに対応するワールドモデルへと拡張した点が貢献である。

手法: 因果的な事前学習パラダイムを軸に、無限長の相互作用でも品質を保つ生成機構を構築し、versatileな相互作用を実現する。

Hugging Face Daily Papers

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

著者: Zhekai Chen, Chengqi Duan, Kaiyue Sun et al.

日常のツールを操作しユーザーを実世界環境で支援する能動的エージェント(proactive agents)を、汎用的に評価するベンチマーク(22 upvotes)。既存ベンチマークはこうしたエージェントを効果的に評価できていなかった。

新規性: 実世界タスクにおける能動エージェントを統一的に評価する汎用ベンチマークを整備し、評価の空白を埋める点が貢献である。

手法: 実世界ツール操作を伴うタスク群を横断して能動エージェントの能力を測る評価枠組みを構築する。

Hugging Face Daily Papers

Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation

著者: Yifan Zhou, Qihao Yang, Yan Li et al.

科学的アイデアは白紙から生まれるのではなく、機構を継承し既知の限界を修復し、先行研究の断片を再結合する——生物のゲノムに似た継承構造を持つという着想から、その継承推論をベンチマーク化する(20 upvotes)。

新規性: AIが科学的アイデアの継承・系譜構造を辿れるかを評価するIdeaGene-Bench(IG-Bench)を提示し、系譜に基づくアイデア生成まで扱う点が新しい。

手法: アイデアの系譜推論と、系譜に接地したアイデア生成を評価するベンチマークを設計し、AIの科学的着想能力を体系的に測る。

Hugging Face Daily Papers

DrugGen 2: A disease-aware language model for enhancing drug discovery

著者: Ali Motahharynia, Mohammadreza Ghaffarzadeh-Esfahani, Mahsa Sheikholeslami et al.

従来の計算的創薬は特定の標的や一般的な分子特性に条件づけて分子を生成し、標的挙動や治療効果に対する疾患文脈の影響を軽視しがちだった。DrugGen-2はこのギャップに取り組む(12 upvotes)。

新規性: 疾患文脈を考慮する(disease-aware)言語モデルを導入し、標的の挙動や治療効果に疾患情報を反映させて創薬を強化する点が貢献である。

手法: 疾患文脈を条件に取り込んだ生成モデルを構築し、標的や分子特性のみに条件づける既存手法の限界を超えて創薬向け分子生成を行う。

Hugging Face Daily Papers

Automating the Design of Embodied Agent Architectures

著者: Jian Zhou, Sihao Lin, Jin Li et al.

身体性エージェントは通常、知覚・記憶・計画・行動モジュールを人手で組み合わせて構築される。このモジュール性は広大な設計空間を露わにするが、既存システムは情報の格納場所などを研究者の直感に依存して決めている(7 upvotes)。

新規性: 知覚・記憶・計画・行動モジュールの構成設計を自動探索し、身体性エージェントのアーキテクチャ設計を人手依存から解放する点が新しい。

手法: モジュール構成の設計空間を自動的に探索し、情報の格納・処理・行動の配置を最適化する身体性エージェント設計の枠組みを提示する。

Hugging Face Daily Papers

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

著者: Haozhan Tang, Zerui Wang, Yuxian Gu et al.

長文脈応用では蓄積した推論やツールtrace が事前学習窓を大きく超え、ゼロショット文脈拡張が主要な展開手段となる。既存手法は単一の再スケール係数を固定するため、短文脈忠実度と長文脈崩壊のトレードオフに陥っていた。

新規性: 系列長に応じて再スケール係数を動的に適応させる二焦点(bifocal)RoPEを提示し、短入力では基底モデルを厳密に再現しつつ長文脈へ滑らかに外挿する点が貢献である。

手法: RoPE忠実な局所窓と適応的な長距離窓を組み合わせ、包除的な注意マージとオンザフライのRoPE補正で、無調整のゼロショット長文脈拡張を128Kまで実現する。

arXiv

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

著者: Tommaso Cerruti, Tim Rieder, George Rowlands et al.

自己注意は各トークンが全文脈から情報を取得できるが、系列長に対する二次コストが長文脈での学習・推論を制約する。本研究はsoftmax注意と近年の再帰的線形注意を比較する(5 upvotes)。

新規性: DeltaNet、Gated DeltaNet等の線形注意4種とsoftmax注意を体系的に比較し、機構・トレードオフに加え層間ルーティングまで検討した点が新しい。

手法: 複数の線形注意アーキテクチャを共通条件で比較評価し、各機構の長所短所と、層をまたぐ注意方式のルーティングを分析する。

Hugging Face Daily Papers

SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review

著者: Ruoyu Wang, Jierun Chen, Shaowei Wang et al.

コーディングエージェントは実課題に対しPRを生成するが、一発生成のPRは体系的なレビュー・診断・修正なしに提案される開ループのままである。SWE-Reviewはこのループを閉じる(5 upvotes)。

新規性: エージェント型コードレビューによって、PR生成・レビュー・診断・修正の閉ループを構成し、課題解決のワークフローを完結させる点が貢献である。

手法: 課題を入力に、エージェントがPRをレビューし診断・修正する枠組みを導入し、一発生成に留まっていたコーディングエージェントを反復改善型にする。

Hugging Face Daily Papers

DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment

著者: Xinyu Geng, Xuanhua He, Sixiang Chen et al.

ツール利用エージェントを自身の経験から改善する学習は難しく、教師蒸留は固定軌跡に依存し、疎報酬RLは長期相互作用への監督が弱い。本研究は検証可能な環境での自己蒸留でこれに取り組む。

新規性: 再現可能な検索・ページ閲覧ツールを持つ決定論的で検証可能な環境DeepSearch-Worldと、そこでの自己蒸留フレームワークDeepSearch-Evolveを提示した点が貢献である。

手法: エンティティレベルのランダムウォークから構成した42万件のマルチホップQAで、軌跡生成・フィルタ・混合・微調整を反復し、より強力なWebエージェントを自己進化させる(BrowseComp 31.2%、GAIA 61.5%、HotpotQA 93.4%)。

arXiv

Tool-Making and Self-Evolving LLM Agents in Low-Latency Systems

著者: Kalle Kujanpää, Ning Liu, Shahnawaz Alam et al.

本番のLLMエージェントは同じ手続き的ステップのコードを毎リクエスト再生成し、レイテンシと信頼性を浪費しがちである。本研究はこの推論時コーディングループをツール生成パイプラインで置き換える。

新規性: 反復されるSOP手順を、展開前に検証済み・バージョン管理されたツールへコンパイルするエージェント型ツール生成の枠組みを提示した点が新しい。

手法: ライブ環境で実行traceを集めながらツールを合成・修復し、本番ではツールを直接呼び出す。フルフィルメントセンターのアラーム診断でp50レイテンシを42%、エンドツーエンドのエラー率を最大53%削減した。

arXiv

Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets

著者: (単著含む) 研究チーム

言語モデルのブラックボックス監査は展開前の重要な手段だが、微妙な不整合や隠れた情報を見落としうる。本研究は推論タスクベクトルを増幅し、モデルが「考えを口に出す」傾向を強める「overthinking」を導入する。

新規性: 非推論instructモデルと推論蒸留モデルの差ベクトルを係数α>1で増幅する overthinking モデルを定義し、隠れた情報の表面化を促す監査手法を提示した点が貢献である。

手法: 層ごとの減衰戦略で品質を保ちつつ推論方向を選択的に増幅し、2B〜32Bの4設定で隠れた秘密や意図しない挙動を元の推論モデルより最大10倍高頻度で露呈させる。

arXiv

Persuasion Attacks Can Decrease Effectiveness of CoT Monitoring

著者: Jennifer Za, Julija Bainiaksina, Nikita Ostrovsky et al.

Chain-of-thought(CoT)監視は、可視化された推論traceが不整合や欺瞞を露わにするという前提に立つ有望な安全機構である。本研究は説得ベースの脱獄がこの監視LLMにも及ぶかを検証する。

新規性: 敵対的エージェントがCoT監視者を説得し、ポリシー違反の行動を承認させられることを示し、CoT自体が追加の説得チャネルとなる脆弱性を明らかにした点が貢献である。

手法: 40タスクの評価枠組みで数千の対話を分析し、CoT可視化がむしろ有害行動の承認を平均9.5%増やすことを示す。異なるモデル系列のファクトチェッカーとの併用で承認率を最大45%抑制した。

arXiv

Persona Cartography: Charting Language Model Personality Traits in Weight Space

著者: Luke Baines, Anton Gonzalvez Hawthorne, Mariia Koroliuk et al.

LLMは反復する行動パターン(ペルソナ)を示し、汎化や安全性を左右するが、それを分解・測定・制御する信頼できる手段は乏しい。本研究はペルソナを行動特性の空間上の位置として扱う。

新規性: OCEAN(開放性・誠実性・外向性・協調性・神経症傾向)でペルソナを記述し、低ランクアダプタで各特性を増減・合成して重み空間で制御する枠組みを提示した点が新しい。

手法: 3系列6モデル(4B〜32B)で各特性を単調にスケールし、アダプタを近似加法的に組み合わせて混合ペルソナを構成する。神経症傾向や協調性の軸が苛立ちや追従といった安全関連挙動に影響することを示した。

arXiv

分野別の動向

実時間・インタラクティブ生成

動画・ワールドモデルの生成研究が上位を占めた。Vidu S1(108 upvotes)は音声制御で無限長のリアルタイム動画生成を実現し、Infinite Worlds(LingBot-World 2.0、26 upvotes)は因果事前学習で無限の相互作用ホライズンと一貫品質を両立させる。生成の焦点が、オフラインの高品質化から、対話的・無限長の実時間運用へと移りつつある。

能動エージェントとツール自律化

エージェント研究では、受動的な応答から能動性・自己進化への転換が目立つ。UniClawBench(22 upvotes)は実世界タスクの能動エージェントを汎用評価し、DeepSearch-Worldは検証可能環境の自己蒸留でWebエージェントを自己進化させる。Tool-Making(p50レイテンシ42%削減)やSWE-Reviewは、手続きのツール化・レビューの閉ループ化で本番運用の効率と信頼性を高める。エージェントを「作り・検証し・進化させる」基盤づくりが層をなした。

身体性AIと長文脈基盤

身体性・基盤技術も継続して進む。Automating Embodied Agent Architectures(7 upvotes)は知覚・記憶・計画・行動の構成設計を自動化し、設計を人手依存から解放する。Jet-Longは動的二焦点RoPEで128Kまで無調整のゼロショット長文脈拡張を、Linear Attention Architectures(5 upvotes)は線形注意4種とsoftmax注意の比較・層間ルーティングを扱い、効率的な系列処理の設計空間を整理する。

監査・安全性・ペルソナ制御

モデルの内部を覗き、制御する安全研究が一群をなした。Overthinking は推論方向を増幅して隠れた秘密を最大10倍高頻度で表面化させ、Persuasion Attacks はCoT監視が説得攻撃でむしろ承認率を上げる脆弱性を示す(異モデル間ファクトチェックで最大45%抑制)。Persona Cartography はOCEANでペルソナを重み空間に位置づけ、LoRAで安全関連挙動を制御する。監査・監視・人格制御という三側面で、モデルの内部状態を操作可能にする流れが見える。

評価・ベンチマークの刷新

評価軸を問い直す研究も並んだ。Video-Oasis(43 upvotes)はVideo-LLMの性能が視覚知覚か言語推論か知識由来かを切り分け、IdeaGene-Bench(20 upvotes)は科学的アイデアの系譜推論と系譜接地生成を評価する。単一スコアでは捉えきれない能力の内訳を、診断可能な形に分解しようとする志向が共通する。

ソース