LLM/NLP最新論文

知覚と推論を切り分けるVideo-Oasisが52 upvotesで首位。科学的系譜推論のIdeaGene-Bench、能動エージェント評価のUniClawBenchに加え、動的Bifocal RoPEによる長文脈拡張や線形注意の層間ルーティングなど基盤の効率化が並んだ一日。

注目度

注目論文

Video-Oasis: Rethinking Evaluation of Video Understanding

著者: Geuntaek Lim, Sungjune Park, Jaeyun Lee et al.

動画理解は本質的に複雑で、Video-LLMのベンチマーク性能が視覚知覚・言語推論・知識事前のどこから来ているのか判別しづらい。高次推論を測るベンチマークは増えたが、動画理解を評価する共通基準は不足していた(本日最高の52 upvotes)。

新規性: 性能の源泉を視覚知覚・言語推論・知識事前へと切り分けて評価する枠組みを提示し、Video-LLM評価の曖昧さを解消しようとする点が貢献である。

手法: 動画理解の評価を要素ごとに分離できる基準を設計し、ベンチマークスコアがどの能力に由来するかを可視化する。

Hugging Face Daily Papers

Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation

著者: Yifan Zhou, Qihao Yang, Yan Li et al.

科学的アイデアは白紙から生まれるのではなく、機構を継承し既知の限界を修復し、過去研究の断片を組み替えて生まれる——ちょうど生物のゲノムのように。現行ベンチマークはAIがこの継承構造をたどれるかをほとんど測ってこなかった(30 upvotes)。

新規性: 科学的アイデアの継承構造を測るIdeaGene-Bench(IG-Bench)を構築し、系譜に接地したアイデア生成という新しい評価軸を導入した点が新しい。

手法: 先行研究からの継承・修復・組み替えの関係をベンチマーク化し、系譜推論と系譜接地の生成能力をAIシステムで評価する。

Hugging Face Daily Papers

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

著者: Zhekai Chen, Chengqi Duan, Kaiyue Sun et al.

LLM・マルチモーダルLLMの発展により、日常のツールを操作しユーザーを支援する能動エージェントが台頭している。しかし既存ベンチマークはこうしたエージェントを効果的に評価しきれていない(27 upvotes)。

新規性: 実世界タスクで能動エージェントを評価する汎用ベンチマークを提示し、既存評価が捉えきれなかった能動性・ツール操作を体系的に測る点が貢献である。

手法: 実世界のツール操作を伴うタスク群でエージェントを評価する統一的なベンチマークを構築する。

Hugging Face Daily Papers

DrugGen 2: A disease-aware language model for enhancing drug discovery

著者: Ali Motahharynia, Mohammadreza Ghaffarzadeh-Esfahani, Mahsa Sheikholeslami et al.

計算的な薬剤設計は通常、特定ターゲットや一般的な分子特性に条件づけて分子を生成し、疾患文脈がターゲット挙動や治療効果に及ぼす影響を軽視しがちだった(16 upvotes)。

新規性: 疾患文脈を意識(disease-aware)した言語モデルを導入し、疾患がターゲット挙動へ及ぼす影響を取り込んで創薬を強化する点が新しい。

手法: 疾患文脈を条件に組み込んだ言語モデルにより、疾患を踏まえた分子生成と治療効果の予測を行う創薬向けフレームワークを構築する。

Hugging Face Daily Papers

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

著者: Haozhan Tang, Zerui Wang, Yuxian Gu et al.

現代のLLMはRAG・リポジトリ規模のコーディング・エージェント的ワークフローなど長文脈用途に展開され、累積する推論やツール軌跡が事前学習窓を桁違いに超えることが常態化し、ゼロショットの文脈拡張を難しくしている(15 upvotes)。

新規性: 動的なBifocal RoPEにより、事前学習窓を超える長文脈へ効率的に拡張できる点が貢献である。

手法: RoPEを二焦点(bifocal)的に動的制御することで、追加学習を抑えつつ長文脈の位置表現を安定させ、長入力への外挿を実現する。

Hugging Face Daily Papers

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

著者: Tommaso Cerruti, Tim Rieder, George Rowlands et al.

自己注意は各トークンが全文脈から情報を取り出せるが、系列長に対する二次コストが長文脈での学習・推論を制約する。本論文はsoftmax注意と近年の再帰的線形注意アーキテクチャを比較する(11 upvotes)。

新規性: softmax注意と4種の線形注意(DeltaNet, Gated DeltaNet ほか)を機構・トレードオフの観点から比較し、層間ルーティング(cross-layer routing)を分析した点が新しい。

手法: 複数の線形注意アーキテクチャを統一的に比較し、各層でどの注意機構を使うかを選ぶ層間ルーティングの効果を検証する。

Hugging Face Daily Papers

Attending to Multimodal Generation One Token at a Time

著者: Varun Gupta, Vineet Gandhi, Makarand Tapaswi et al.

マルチモーダルLLM(MLLM)は視覚と言語情報を進化する文脈に統合しながら自己回帰的に応答を生成する。解釈可能性の先行研究は個々の層や回路(どこで)に着目し、生成中のトークン単位のダイナミクスを扱ってこなかった(8 upvotes)。

新規性: MLLMの多モーダル生成をトークン単位のダイナミクスとして解釈し、層・回路の「どこで」から「いつ・どう」計算が進むかへ視点を移した点が貢献である。

手法: 生成の各トークン時点での多モーダル計算の推移を分析し、視覚・言語情報の統合過程を時系列で可視化する。

Hugging Face Daily Papers

SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review

著者: Ruoyu Wang, Jierun Chen, Shaowei Wang et al.

コーディングエージェントは実世界のソフトウェア課題に対するPRを生成するようになったが、一発生成のPRは体系的なレビュー・診断・修正なしに提案される開ループのままだった(7 upvotes)。

新規性: エージェント的なコードレビューでこのループを閉じるSWE-Reviewを提示し、課題からPR生成・レビュー・反復修正までを結ぶ点が新しい。

手法: 与えられた課題に対しエージェントがコードレビューを行い、診断と修正を反復してPRの品質を高める枠組みを構築する。

Hugging Face Daily Papers

UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

著者: Chongyu Fan, Pengfei Liu, Jingjia Huang et al.

強化学習はLLMの複雑な推論能力を高める標準パラダイムとなった。サンプル効率のため現代のRLは重要度サンプリング(IS)に依存するが、これらのアルゴリズムは探索と安定性のジレンマに苦しむ(7 upvotes)。

新規性: 非対称最適化(Unbounded Positive Asymmetric Optimization)により、重要度サンプリングが抱える探索-安定性ジレンマを打破する点が貢献である。

手法: 正方向を非有界に扱う非対称な最適化を導入し、探索の余地を確保しつつ学習の安定性を両立させるRL手法を提案する。

Hugging Face Daily Papers

Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs

著者: Kareem Elozeiri, Mervat Abassy, Omar Kallas et al.

アラビア語NLPの大きな課題は、現代標準アラビア語(MSA)に比べ方言データが乏しく、LLMがMSAを過剰生成し方言的に正確な生成に苦しむ点にある。解釈可能性の観点からは、方言的特徴がどこにどう表れるかが根本的問いとなる(3 upvotes)。

新規性: アラビア語方言の生成を、スパースニューロンと分散した方向(distributed directions)から解釈・制御できるかを問い、方言を言語のように操舵できるか検証した点が新しい。

手法: 方言的特徴を担うニューロンや潜在方向を特定し、それらを操作することで方言生成を制御できるかを分析する。

Hugging Face Daily Papers

分野別の動向

評価手法の再設計

評価の枠組み自体を問い直す論文が目立った。Video-Oasis(52 upvotes)はVideo-LLMの性能を視覚知覚・言語推論・知識事前へと切り分け、スコアの源泉を可視化する。UniClawBench(27 upvotes)は実世界ツールを操作する能動エージェントを体系的に評価し、IdeaGene-Bench(30 upvotes)は科学的アイデアの継承構造という新しい軸を測る。単一スコアでは捉えきれない能力を要素分解して測ろうとする志向が強い。

長文脈・線形注意の基盤更新

基盤側では系列長方向のコストと表現の工夫が並んだ。Jet-Long(15 upvotes)は動的Bifocal RoPEで事前学習窓を超える長文脈へ外挿し、Linear Attention Architectures(11 upvotes)はsoftmax注意と複数の線形注意を機構・トレードオフの観点から比較して層間ルーティングを分析する。二次コストと状態容量の制約を、位置表現とアーキテクチャ選択の両面から解こうとする流れが続く。

エージェントとRLの反復・効率化

エージェント運用と強化学習では、ループを閉じる設計と最適化の見直しが進む。SWE-Review(7 upvotes)は一発生成で開ループだったPRにエージェント的レビューを組み込み診断・修正を反復し、UP(7 upvotes)は重要度サンプリングの探索-安定性ジレンマを非対称最適化で打破する。生成しっぱなしにせず検証・修正を織り込む志向が広がっている。

解釈可能性と制御

モデル内部の理解と操作にも動きがあった。Attending to Multimodal Generation(8 upvotes)はMLLMの多モーダル生成をトークン単位のダイナミクスとして解釈し、Arabic LLMsの研究(3 upvotes)は方言的特徴をスパースニューロンや分散方向から捉えて制御を試みる。「どこで」だけでなく「いつ・どう」計算が進むかへ、解釈の粒度が細かくなっている。

ドメイン特化への接地

汎用モデルを具体領域へ接地する応用も見えた。DrugGen 2(16 upvotes)は疾患文脈を意識した言語モデルで、ターゲット挙動への疾患の影響を取り込み創薬を強化する。生成・推論の技術が、自然科学や産業応用といった文脈依存の強い領域へ踏み込む動きが続く。

ソース