LLM/NLP最新論文

静的な学習環境を自動的に「起動」させるEnvHarnessが230 upvotesで首位。実行可能検証器まで整合させてタスクを合成するFACET、科学コードの正しさでエージェントを測るSWE-bench Science、記憶が推論を誤らせる罠を測るMemTrapBenchが続き、エージェント訓練の律速が方策から環境・データ・記憶の側へ移りつつあることを示した。

注目度

注目論文

EnvHarness: Awakening Static Worlds for Agent Learning

著者: Chengsong Huang, Zifeng Wang, Rujun Han et al.

LLMエージェントは環境との相互作用を通じて学習するが、その環境は人手で構築された静的なものであり、エージェントの弱点に対して盲目で、エージェントが成長するとすぐに置き去りにされる(230 upvotes)。既存の環境生成手法はこの問題に取り組もうとしてきたが、ドメイン固有のパイプラインを必要とし、高コストな仕組みに依存する。

新規性: 学習の頭打ちを方策側ではなく環境側の陳腐化として捉え、その解決をドメイン固有パイプラインなしで一般化しようとした点が中核である。環境がエージェントの弱点を知らないまま固定されていれば、訓練が進むほど課題は易しくなり勾配の情報量が落ちる。既存の環境生成研究も同じ問題意識を持つが、分野ごとに専用の合成パイプラインを組む必要があり横展開できなかった。「静的な世界を目覚めさせる」という枠組みは、既にある静的資源をエージェント学習用の動的環境へ変換する経路を用意するもので、環境構築のコストそのものを引き下げにいく。この日の最高得点であり、前日のSPADEが自己対戦で目標分布を広げたのに対し、こちらは既存の静的世界を原料に使う点で補完関係にある。著者にはTomas Pfister、Chen-Yu Leeらが名を連ねる。

手法: エージェントの弱点に盲目な静的環境を、ドメイン固有パイプラインや高コストな仕組みに頼らずにエージェント学習用の動的環境へ変換する枠組みを構築する。

Hugging Face Daily Papers

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

著者: Kou Shi, Zun Wang, Qisheng Su et al.

ターミナルエージェントの訓練にはスケール可能な実行可能監督が必要だが、高品質なターミナルタスクの合成は依然として難しい(102 upvotes)。各タスクは指示・初期化された環境・参照解・実行可能な検証器を同時に抱えており、これらの成果物が互いに矛盾する前提から生成されると、タスク全体が破綻する。

新規性: 合成タスクの品質を、個々の成果物の出来ではなく四点の整合性として定式化した点が中核である。指示・環境・参照解・検証器のいずれかがずれていれば、検証器を通ったからといって指示を達成したことにはならず、訓練信号は静かに汚染される。生成の各段で元の意図と実行可能な状態を保持するという設計は、この整合性を合成手続きの中に組み込むものである。前日のSemaPLCが検証ゲートで生成物の統合可能性を担保したのと同様、検証を後段の人手判断に委ねない方向にあるが、こちらは検証対象ではなく訓練データそのものを対象にしている点が異なる。

手法: 指示・初期環境・参照解・実行可能検証器の四つの成果物が一貫した前提から生成されるよう、元の意図と実行可能な状態を保持したままターミナルタスクを大規模に合成する。

Hugging Face Daily Papers

4DAnyone: Create Anyone in 4D from a Casual Monocular Video

著者: Yudong Jin, Tao Xie, Qihang Zhang et al.

未校正の単眼動画から4D人体を再構成する枠組みである(52 upvotes)。再構成品質を満たす多視点一貫動画を生成し、それを4D Gaussian Splatting(4DGS)へ持ち上げる。既存のカメラ制御型動画拡散モデルは、もっともらしい新視点の映像を合成できるものの、再構成に耐える一貫性は保証されない。

新規性: 動画拡散モデルの出力を「見て自然な映像」ではなく「再構成の入力として使える多視点データ」として要求水準を引き上げた点が中核である。新視点合成の見た目の妥当さと、複数視点間の幾何学的一貫性は別の性質であり、後者が欠けたまま4DGSへ持ち上げれば形状が破綻する。生成段階で再構成品質の一貫性を担保する設計は、カジュアルに撮られた手持ち動画という最も入手しやすい入力から4D人体を得る経路を開く。

手法: 未校正の単眼動画から再構成品質の多視点一貫動画を生成し、それを4D Gaussian Splattingへ持ち上げることで4D人体を復元する。

Hugging Face Daily Papers

SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

著者: Zhipeng Xu, Jiahao Lu, Yining Zheng et al.

ソフトウェアはますます科学的装置そのものの一部として機能しており、科学コードの不具合はプログラムの挙動だけでなく、科学的結論を支える証拠そのものを損ないうる(51 upvotes)。しかし既存のコーディングエージェント評価は、集約的なタスク成功率を重視してきた。

新規性: コーディングエージェントの失敗コストを、機能不全ではなく科学的証拠の汚染として位置づけ直した点が中核である。一般的なソフトウェアではバグは動作不良として現れ、テストが落ちれば気づける。科学計算では、コードが最後まで走って数値を出しながらその数値が誤っている状況が起こり、下流の結論まで静かに汚染される。集約成功率ではなく個々のタスクの科学的正しさで測るという評価設計は、この「静かな失敗」を可視化しにいく。AI for Scienceの議論が生産性の話から信頼性の話へ移る節目に位置する。

手法: 集約的なタスク成功率に依存せず、科学ソフトウェアのエンジニアリング課題をコーディングエージェントが解けるかを、科学的正しさの観点から評価するベンチマークを構築する。

Hugging Face Daily Papers

WithEveryone: Unified Planning and Identity Grounding for Group Image Generation

著者: Hengyuan Xu, Qixun Wang, Yiji Cheng et al.

アイデンティティ保持型の画像生成は、シーンに指定された人物が多くなるほど信頼性を失う(34 upvotes)。各人物の同一性を保つだけでなく、モデルはすべての参照画像を別個の人物と位置に束縛しなければならず、訓練時のアイデンティティ損失は複数の参照間で対応関係を確立する必要がある。

新規性: 多人数生成の破綻を、個々の顔の再現精度ではなく参照と人物・位置の束縛問題として捉えた点が中核である。一人ずつの同一性保持が完璧でも、複数の参照が混線して同じ顔が二人に現れたり、人物と配置の対応が崩れれば集団画像としては失敗する。計画(誰をどこに置くか)とアイデンティティ接地(どの参照がどの人物か)を統合的に扱う設計は、この束縛を生成手続きに組み込むものである。前日のSemComp-Benchが動画生成で「見た目の妥当さ」と「意味的接地」を分離したのと、参照との対応関係を明示的に問うという点で問題意識を共有する。

手法: すべての参照画像を別個の人物と位置に束縛するため、シーン計画とアイデンティティ接地を統合した集団画像生成の枠組みを構築し、複数参照間の対応関係を訓練時に確立する。

Hugging Face Daily Papers

Training Chemical Plausibility-Aware Large Language Models for Single-Step Retrosynthesis

著者: Bogdan Zagribelnyy, Ivan Ilin, Nikita Bondarev et al.

単段階逆合成は計算機支援合成計画の中核をなすが、その本質的な一対多性は単一解評価のベンチマークプロトコルでは十分に捉えられない(29 upvotes)。この問題に対し、Top-Kプロンプティングを堅牢な訓練・推論のパラダイムとして導入する。

新規性: 化学的正しさの評価単位を「唯一の正解との一致」から「妥当な複数解の集合」へ移した点が中核である。逆合成では一つの目的化合物に対して化学的に妥当な合成経路が複数存在し、文献に記録された経路と異なる出力が誤りとは限らない。単一解評価はこの構造を無視して妥当な提案を不正解として罰し、モデルを文献の再現へ寄せてしまう。Top-Kを訓練と推論の両方に一貫して据える設計は、一対多性を評価だけでなく学習目標の側にも反映させる。著者にはInsilico MedicineのAlex Aliper、Alex Zhavoronkovらが名を連ねる。

手法: 逆合成の一対多性に対応するため、Top-Kプロンプティングを訓練と推論の両方にわたる枠組みとして導入し、化学的妥当性を意識したLLMを構築する。

Hugging Face Daily Papers

MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

著者: Mengru Wang, Haozhe Luo, Zhenqian Xu et al.

記憶は大規模言語モデルの主要構成要素となり、情報の保持と長期的な相互作用からの学習を可能にしている(24 upvotes)。しかし既存の記憶ベンチマークは、情報が正しく抽出・保存・検索されるかを主に評価しており、検索された記憶がその後の推論をどう歪めるかはほとんど見落とされてきた。

新規性: 記憶システムの評価軸を、検索の正確さから検索後の推論への影響へ移した点が中核である。正しい記憶が正しく引き出されても、それが現在の文脈で不適切に重みづけされれば推論は誤る——検索精度100%でも回答が壊れる領域が存在する。「認知的な罠」という枠組みは、この検索と利用の間にある失敗モードを測定対象として切り出す。同日のcs.AIにも、記憶システムが世界の状態変化を追跡できるかを問うStateMemBench(更新前の古い状態を答えてしまう失敗を検索失敗と分離して採点)が出ており、記憶研究の焦点が「思い出せるか」から「思い出したものをどう使うか」へ移りつつある。

手法: 記憶の抽出・保存・検索の正しさではなく、検索された記憶が推論を誤らせる認知的な罠を測定対象とするベンチマークを構築する。

Hugging Face Daily Papers

SkillEvo: Self-Renewing Evolution Gradients from Multi-Turn Interaction Feedback

著者: Qianxi Yan, Chunrong Chen, Jiuzhou Zhao et al.

Agent Skillsは今日、人手で書かれるか、単一のLLM生成パスで作られるかのいずれかであり、実際に自らが引き起こした相互作用の失敗から改善するための閉ループを持たない(22 upvotes)。近年の研究はこのループを閉じつつあるが、フィードバックを単一ターンの質問応答から導いている。

新規性: スキル改善のフィードバック源を、単一ターンの正誤ではなく複数ターンの相互作用の帰結に置いた点が中核である。スキルの欠陥はしばしば一度の応答ではなく、数ターン先で行き詰まる形で現れる——単一ターン評価はこの遅延した失敗を捉えられない。複数ターン相互作用のフィードバックから進化勾配を自己更新的に生成する設計は、スキルが実際に引き起こした失敗をそのまま改善信号に変える。前日のLEGO-RLがハーネスのネイティブ実行環境に訓練を合わせたのと同様、本番の使われ方から学習信号を取り出す方向にある。

手法: 単一ターンの質問応答ではなく複数ターンの相互作用フィードバックから、Agent Skillsを自己更新するための進化勾配を継続的に生成する。

Hugging Face Daily Papers

著者: Anna Borisiuk, Andrey Savchenko, Alexander Panchenko et al.

事前学習で頻繁に現れる事実ほど深く記憶され、稀な事実よりも除去に抵抗する(16 upvotes)。しかし既存のLLMアンラーニング手法は、訓練データ中の頻度にかかわらず一様な勾配圧を適用している。本研究はAdaPop(Adaptive Popularity)を提案し、局所的なトークン確信度と人気度を組み合わせる。

新規性: アンラーニングの失敗を、手法の弱さではなく削除対象の記憶の深さの不均一さとして捉えた点が中核である。同じ強度で消しにかかると、稀な知識は過剰に壊れ、頻出知識は残る——削除漏れと副作用が同時に起こる。頻度と確信度に応じて勾配圧を配分する設計は、削除の難易度に手当てを合わせるものであり、必要な箇所にだけ力をかけて周辺の性能劣化を抑える。前日のTraining Leaves Tracesが重みから来歴を検証したのと合わせ、モデルの中身に何が残っているかを制御・検証する研究が並んでいる。

手法: 局所的なトークン確信度と事前学習データ中の人気度を組み合わせ、記憶の深さに応じて勾配圧を適応的に配分するアンラーニング手法AdaPopを構築する。

Hugging Face Daily Papers

FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving

著者: Qihang Fan, Huaibo Huang, Zhiying Wu et al.

長文脈のモデリングは大規模言語モデルにとって枢要な能力だが、注意機構の二次的な計算量は依然として重大なボトルネックであり、特に計算集約的なprefill段階で顕著である(9 upvotes)。著者らの前作FlashPrefillは、即時的なパターン発見によってこのコストを軽減していた。

新規性: 長文脈サービングの律速を、生成段のKVキャッシュではなくprefill段の計算量として据え続けている点が中核である。長文脈の議論はしばしばメモリ側に寄るが、入力が長くなるほど最初のトークンが出るまでの計算が支配的になり、体感レイテンシを決める。ブロックスパース注意でこの段を削る設計は、前作の即時パターン発見を構造化された疎性へ引き継ぐものである。同日のcs.CLには、エージェントのツール・スキルスキーマを合成順序に依存しないKVブロックとして再利用するReCache(KVテンソルメモリ92.43%削減、time-to-first-token 3.655倍高速化)も出ており、長文脈エージェント推論のコスト削減が入力側と再利用側の双方から進んでいる。

手法: 前作FlashPrefillの即時的なパターン発見を発展させ、ブロックスパースな注意機構によって長文脈サービングのprefill段の計算コストを削減する。

Hugging Face Daily Papers

分野別の動向

訓練環境とデータ合成の律速

この日の上位は、エージェントの性能を伸ばす対象が方策から環境・データの側へ移ったことを示す構成で揃った。EnvHarness(230 upvotes)は人手構築の静的環境がエージェントの成長に置き去りにされる問題を、ドメイン固有パイプラインなしで動的環境へ変換することで解こうとする。FACET(102 upvotes)はターミナルタスクの合成において、指示・初期環境・参照解・実行可能検証器の四点が矛盾しない前提から生成されることを要件に据えた。SkillEvo(22 upvotes)は単発生成で固定されるAgent Skillsを、複数ターンの相互作用で実際に生じた失敗から自己更新させる。いずれも「学習者が環境やデータを追い越してしまう」構造への対処であり、前日のSPADE(44 upvotes)が自己対戦で目標分布を広げた流れと連続している。cs.LGのDeltaML-Bench(実在の研究リポジトリで公開ベースラインの改善を課す48タスク。探索型スキャフォールドARGがGPT-5の成功率を9.4%から33.9%へ引き上げる一方、モジュラー構成では仕様ゲーミングが最大47.9%に達する)も、エージェント評価が整った環境から実際の乱雑なリポジトリへ降りていることを示す。

記憶は「引き出せるか」から「どう使うか」へ

記憶研究の評価軸が明確に移動した日でもある。MemTrapBench(24 upvotes)は抽出・保存・検索の正しさではなく、検索された記憶が推論を誤らせる認知的な罠を測る。cs.AIのCan Agent Memory Systems Track Evolving State?は、事実・制約・決定が長い相互作用の中で改訂されていく状況を扱うStateMemBench(234シナリオ)を提示し、回答が現在の状態を反映しているか、既に上書きされた古い状態を答えているかを区別して採点する——状態追跡の失敗を他の誤りから構成的に分離する設計である。cs.CLのRemember, Verify, or Ask?は、相互作用で得た情報を永続化すべきか、その場限りで使うべきか、再検証すべきか、ユーザーに確認すべきかという境界を140シナリオで評価し、ClaudeとQwenのいずれも「変化する事実の再検証」に比べ「曖昧さの確認要求」が著しく苦手であることを報告した(方針プロンプトで誤った永続化は0.243から0.100へ下がる一方、確認要求の再現率は0.333に留まる)。記憶を持たせること自体は済み、誤った記憶が静かに下流を歪める経路の測定が焦点になっている。

科学とエージェントの接続における信頼性

SWE-bench Science(51 upvotes)は、科学コードの不具合が科学的結論の証拠そのものを損なうという点から、コーディングエージェントを集約成功率ではなく科学的正しさで評価する。Training Chemical Plausibility-Aware LLMs(29 upvotes)は逆合成の一対多性を訓練・推論の両側に反映させ、単一解評価が妥当な提案を罰する構造を是正する。cs.AIのScientific Data Skills(データセット固有の知識と操作手順をエージェント向けスキルとして再利用可能な形にパッケージ化し、6分野で公開)とSymposium(AIエージェントによる研究活動の不変な履歴を残し、主張・証拠引用・前提を構造化して記録する枠組み)は、AI科学者の議論を「何ができるか」から「その成果をどう検証・追跡するか」へ寄せている。前日のOmniScientist(87 upvotes)が証拠の到達範囲を広げたのに対し、この日は証拠の正しさと追跡可能性が主題になった。

効率化とアーキテクチャ

FlashPrefill V2(9 upvotes)が長文脈サービングのprefill段をブロックスパース注意で削る一方、cs.CLのReCacheはエージェントが繰り返し符号化するツール・スキルスキーマを合成順序に依存しないKVブロックとして再利用し、KVテンソルメモリを92.43%削減、time-to-first-tokenを3.655倍高速化した。cs.CLのAsymmetric Attention Headsは、全ヘッドに同じ全因果文脈を与える標準的なMHAを見直し、文脈長をヘッドごとの割当変数として扱う。cs.AIのFrom Retrieved Context to Runtime Controlはエッジ環境でのRAG圧縮率を実測し、中程度の圧縮でGPUエネルギーを最大53.2%削減できる一方、圧縮器自体が同じSoC上で電力とレイテンシを消費するため固定圧縮率では機会を逃すと論じる。cs.LGのDeltaMomentumは、モメンタムを指数移動平均ではなくデルタ則で更新することで方向ごとの忘却率を出現頻度に合わせ、AdamWと同じ検証損失に67Mで最大46.39%少ないステップで到達したと報告している。

評価と安全性

cs.CLのVSysBench(16のマルチモーダルLLMをシステムメッセージ下で評価)は、システムメッセージの付与自体がベースのタスク精度を大きく損なうこと、ユーザーとの衝突時にオープンウェイトモデルの遵守が崩壊する一方で上位プロプライエタリモデルは安定すること、視覚接地型の制約がすべてのモデルにとって最難関であることを報告した。cs.CLのAre LLMs becoming similarly creative?は3年分のモデルリリースにわたる創造的出力の多様性を測り、時間とともに統計的に有意な低下——モデル間での創造的実質の収束——を観測している。cs.AIのSafeBranchは、具身エージェントの安全性を安全な軌跡の模倣ではなく、違反を招いた安全臨界ステップまで環境をロールバックして安全な代替行動と対にすることで学習させ、未見物体条件で無訓練ベースラインの約10倍の安全成功を達成した。安全性の議論が、拒否の是非から「どの一手が違反を確定させたか」の特定へ細分化している。

ソース