LLM/NLP最新論文

LLMの回答がいつ、なぜ不確かになるかを分析するU-Spaceが33 upvotesを集めた。撤回された変更や診察と無関係な情報でLLMの推論が崩れる失敗モードの報告が並んだ。視覚・3D分野では、汎用の密な対応点マッチングと3Dシネマグラフ生成が注目を集めた。

注目度

注目論文

U-Space: Uncovering When and Why Uncertainty Arises in Language Models

著者: Tobias Braun, Nils Loose, Alexander Herzog et al.

LLM は、より重大な意思決定に使われるようになっている(33 upvotes)。誤りの影響が大きくなるほど、個々の回答をどこまで信頼できるかが問題になる。しかし LLM は誤った結論も自信ありげに示すため、人間に判断を委ねるべき場面を見分けるのは難しい。U-Space は、LLM の不確かさがどの時点で、なぜ生じるのかを明らかにする分析枠組みである。

新規性: 不確かさをスコア1つで表すのではなく、それが「いつ」「なぜ」生じるのかまで分解する。個々の回答について、判断を保留すべきかを決める根拠を与えることを狙う。

手法: 回答の生成過程で不確かさが現れる箇所と、その要因を対応づけて分析する(不確かさの空間の定義や推定方法は本文を参照)。

arXiv

OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video

著者: Hongyu Li, Manyuan Zhang, Kaituo Feng et al.

単一画像、複数画像、動画のディープリサーチでは、それぞれ必要な視覚操作が異なる(20 upvotes)。ただし、視覚グラウンディング、外部検索、事実の合成という流れはどれにも共通する。OneSearch-VL は、この3つの設定を1つのエージェントで扱う。

新規性: 画像と動画のディープリサーチを、共通のワークフローで統一した点が中核である。著者らが主な課題とするのは、局所的な視覚の手がかり(アンカー)、エンティティ間の関係、出典に裏づけられた事実、最終的な回答の間の依存関係を最後まで保つことである。

手法: 視覚グラウンディング → 外部検索 → 事実の合成の順に処理し、各段階の依存関係を保ちながら回答を組み立てる(学習方法や評価結果は本文を参照)。

arXiv

Do LLMs Understand Sequential Structure? A Controlled Study of Inference and Generation

著者: Jerry Wang, Zhengxiang Wang, Ting Yu Liu et al.

LLM は対話型エージェントやシミュレータとして使われることが増えている(11 upvotes)。しかし、行動がどれだけの頻度で現れるかという表面的な統計を超えて、その背後にある系列の構造まで捉えられるのかは分かっていない。行動シミュレーションでは、行動は直前の文脈に左右されるので、この区別が重要になる。

新規性: 系列構造の「推論」と「生成」の両面を制御実験で切り分けて検証した。頻度を真似ているだけなのか、潜在的な構造を復元できているのかを区別できる設定になっている。

手法: 潜在的な系列構造を制御して作ったデータで、LLM が構造を推論できるか、その構造に従う系列を生成できるかを評価する(実験設定の詳細は本文を参照)。

arXiv

You Changed Your Mind, The Model Didn’t: Demystifying Intent in Multi-Turn Dialogue

著者: Junle Chen, Wei Chen, Zhengjun Huang et al.

多ターンのタスクで、ユーザーがある変更を提案し、結局それを取り下げたとする。このときモデルは、何も変わらなかったものとして作業を続けるべきである(2 upvotes)。著者らは、取り下げられた変更に言及しただけで、ユーザーの最終的な意図は変わっていないのにタスクの遂行が崩れるという、意外な失敗を見つけた。

新規性: 最終的な意図ではなく、会話の途中で出ただけの内容にモデルが引きずられるという失敗モードを特定した。多ターン対話の頑健性で、これまで見過ごされてきた点である。

手法: 変更の提案とその撤回を含む多ターン対話を用意し、撤回後もタスクを正しく続けられるかを調べて、失敗の原因を分析する(対象モデルや対策は本文を参照)。

arXiv

Incidental information contaminates patient notes and disrupts clinical reasoning in large language models

著者: Krithik Vishwanath, Brandon Ye, Anton Alyakin et al.

LLM は、診察内容を自動で記録するアンビエント記録と、臨床推論の支援に使われるようになっている(2 upvotes)。本研究は、この2つの用途に共通する失敗モードとして、診察とは無関係な情報に LLM がどれだけ影響されるかを調べた。対象は 576 件の患者と臨床医の会話である。

新規性: 無関係な情報が、診療記録と臨床推論の両方を同じように乱すことを示した。記録作成で混入した情報が、その記録を使う後段の推論にも影響しうる点で、医療で LLM を使う際の具体的なリスクを示している。

手法: 患者と臨床医の会話に診察と無関係な情報を含め、LLM が作る診療記録の内容と臨床推論の結果がどう変わるかを測った(使用モデルや具体的な数値は本文を参照)。

arXiv

A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization

著者: Ming Chen, Rong-Xi Tan, Ke Xue et al.

ブラックボックス最適化(BBO)は、目的関数の評価にコストがかかり、評価回数も限られる問題で、科学や工学の多くの場面に現れる(4 upvotes)。LLM エージェントは、タスクの意味の理解、計算、最適化ツール、フィードバックに基づく意思決定を組み合わせられるため、BBO への新しいアプローチになりうる。

新規性: LLM エージェントによる BBO を、ベンチマークで体系的に評価した点が貢献である。エージェントがどこで従来の最適化手法を上回り、どこで及ばないのかを詳しく検証する。

手法: 評価回数を制限した BBO タスク群で、ツールを使える LLM エージェントを評価する(タスクの構成や比較手法は本文を参照)。

arXiv

OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning

著者: Zhongyu Yang, Jiale Tao, Ruitao Chen et al.

マルチモーダル LLM は、音声と映像を連続的に扱って推論する方向へ急速に進化しており、その限界を明らかにする評価が求められている(12 upvotes)。音声と映像を合わせたキャプション生成は診断に適したタスクだが、既存のベンチマークは評価方法にトレードオフを抱える。キャプション全体を採点する方式などには、それぞれ一長一短がある。

新規性: キャプションを深く構造化して評価することで、細かな要素ごとに能力を診断できるようにした。キャプション全体に1つのスコアをつける方式では見えにくい失敗も捉えられる。

手法: 音声と映像の内容を構造化した評価項目に分解し、生成されたキャプションを項目ごとに照合する(構造の定義や採点方法は本文を参照)。

arXiv

Beyond Spatio-Temporal Priors: A Generalizable Approach for Dense Correspondence Matching

著者: Luping Liu, Bingyi Kang, Yifan Wang et al.

密な対応点マッチングは、これまで滑らかな動きや剛体の幾何といった時空間的な仮定に頼ってきた(34 upvotes、本日最多の一つ)。こうした仮定は古典的なタスクでは有効だが、画像編集や参照画像に基づく生成(IEG)では成り立たない。そこでは、見た目は保ったまま、仮定から外れる変換が起こりうるためである。

新規性: 時空間的な仮定に頼らずに対応点を求め、画像編集や参照ベースの生成にも適用できる汎用的なマッチングを目指した点が中核である。

手法: 動きや形状の仮定を置かずに、画像間の密な対応を推定する(モデル構成や学習データは本文を参照)。

arXiv

OuroWorld: Bringing Any 3D World Alive as Diverse, Endlessly Looping 3D Cinemagraphs

著者: You-Zhe Xie, Ting-Wei Chou, Yu-Hsuan Li et al.

最近の 3D ワールドモデルは、写実的で歩き回れるシーンを生成できるが、シーンは時間が止まったままである(37 upvotes、本日最多)。OuroWorld は、静的な 3D Gaussian Splatting シーンを 3D シネマグラフに変換する。3D シネマグラフとは、どの視点から見ても、多様な動きが途切れずにループする動的なシーンである。

新規性: マスクを使わずに、任意の静的 3D シーンを動かせる点が中核である。どこを動かすかを人手で指定しなくても、視点を問わずループする動きを生成する。

手法: 視覚言語モデル(VLM)でシーンを解釈し、動かす部分を決めて、ループする動きを付与する(動きの生成方法は本文を参照)。

arXiv

Pumpire: Unified Benchmark for Metric Distance Estimation

著者: Siyu Chen, Zehan Wang, Jiayang Xu et al.

Pumpire は、画像レベルと動画レベルの 3D 基盤モデルが、2点間の実際の距離(メトリック距離)をどれだけ正確に推定できるかを評価するベンチマークである(15 upvotes)。深度の事前情報を使うモデルも使わないモデルも対象にする。

新規性: 従来は、深度とカメラ内部パラメータを別々に評価することが多かった。Pumpire は、2点間の距離という最終的に必要な量で、異なる種類のモデルを統一的に比べられるようにした。

手法: 画像と動画の両方で 2点間の距離推定タスクを構成し、深度事前情報の有無を含むさまざまな 3D 基盤モデルを同じ基準で評価する(データの構成は本文を参照)。

arXiv

分野別の動向

信頼性:不確かさ、意図、無関係な情報

今日の LLM 研究で目立ったのは、正答率では見えにくい失敗を取り出す研究だった。U-Space は不確かさの発生時点と要因を分析し、You Changed Your Mind は撤回された変更に引きずられる失敗を、Incidental information は無関係な情報による記録と推論の汚染を示した。いずれも、文脈の中にある「使うべきでない情報」をモデルが切り捨てられない、という問題に関係する。MARGIN(1 upvote)は、性質の異なる基盤モデルが自己申告する確信度を、実行時に正規化して比べられるよう校正する。Investigating the Role of Reasoning-Language Alignment in Monolingual RAG(2 upvotes)は、推論トレースの言語をプロンプトの言語に合わせることの影響を、単一言語の RAG で検証する。

エージェントとその評価

エージェントのベンチマークも多かった。Agentic BBO のほか、BrickBench(3 upvotes)は、意味の要件を満たし、しかも物理的に組み立てられる LEGO セットを、部品ライブラリから設計させる。Incremental Open-Ended Deep Research(3 upvotes)は、レポートを毎回ゼロから作るのではなく、新しい情報が出るたびに更新し続ける設定を提案する。Synthesis Through Simulation(3 upvotes)は、規制のため実データを使いにくい企業向けのツール呼び出しエージェントのために、エージェントとシステムのやり取りを模擬して、整合性のとれた企業データを合成する。MIRA(2 upvotes)は、曖昧なプロンプトから楽器編成などのユーザーの意図を補う、テキストから音楽を生成するためのエージェントである。

マルチモーダル・世界モデル

視覚と 3D の分野が upvotes の上位を占めた。OuroWorld、密な対応点マッチング、Pumpire のほか、WorldGuide(4 upvotes)は、生成した映像の状態から次の行動を決め、タスクの完了を判断する、手順を追う作業向けの動画ワールドモデルである。SPW-Nav(1 upvote)は、言語の指示に従ってストリーミングでパノラマ映像を生成する。Distilling Routed 3D Privilege(4 upvotes)は、学習時にだけ 3D 情報を使って VLM の空間推論を鍛え、推論時の構造や遅延のコストを避ける。TerraVis(1 upvote)は、生成画像の解剖学的・物理的な破綻を MLLM のワークフローで評価する。ロボティクスでは、VLA の推論を高速化しても安全性が保たれるかを保証しようとする CARE(2 upvotes)や、ドローンで長い経路を指示に従って飛ぶナビゲーションを、衛星画像から大規模に評価する SatNav(1 upvote)が出た。

生成モデルとアーキテクチャ

The Lattice of Transition Laws(1 upvote)は、拡散モデルと自己回帰モデルをつなぐハイブリッド手法が、それぞれ固定したデコードスケジュールを持つことに注目し、両者を統一的に捉える枠組みを示す。One Block, Multiple Depths(3 upvotes)は、1つの Transformer ブロックを再帰的に使い、深さごとに FFN を専門家として切り替えることで、同程度の推論 FLOPs で全層のビジョンエンコーダと同等の精度を出した(中間特徴の蒸留は不要)。EDiS(2 upvotes)は、互いに辺を共有しない部分グラフを使って、GNN の疎な学習を安価に行う。

教科書

Foundations of Large Language Models(38 upvotes)は、事前学習、生成モデル、プロンプトなどの6章からなる LLM の書籍である。最先端の技術を網羅するのではなく、基礎的な概念を中心に扱う。

なお、arXiv の cs.CL・cs.AI・cs.LG の RSS は週末の配信休止のため、今回は新しい論文を含んでいなかった。

ソース