LLM/NLP最新論文

Code2LoRA(42 upvotes)がリポジトリ進化に追従するハイパーネットワーク生成LoRAを提案し最多票を獲得。ArcANE、TIDE、AdaPlanBenchとエージェント評価ベンチマークが3本同時に登場し、推論トレースの構造化や状態コミットメント学習など推論制御の新手法も現れた。

注目度

注目論文

Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

著者: Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie

コード言語モデルにリポジトリ固有の知識(インポート、API、プロジェクト慣習)を注入するため、ハイパーネットワークがリポジトリごとのLoRAアダプタを動的に生成する手法を提案した研究(42 upvotes)。

新規性: 既存手法はRAGによる長いコンテキスト注入か、リポジトリごとの個別ファインチューニング/LoRAに依存しており、前者はコンテキスト長の制約、後者はリポジトリ規模でのコスト・ソフトウェア進化への脆弱性が問題だった。Code2LoRAはハイパーネットワークがリポジトリの中間表現からLoRA重みを直接生成することで、個別訓練なしにリポジトリ適応を実現する初のアプローチである。

手法: パーシーバー型ハイパーネットワークがリポジトリの中間表現を読み取り、コード言語モデル用のLoRAアダプタ重みを出力する。リポジトリの変更に応じてアダプタが自動更新されるため、ソフトウェア進化に対して頑健である。

Hugging Face Daily Papers


ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

著者: Woojung Song, Nalim Kim, Sangjun Song et al.

ロールプレイ言語エージェント(RPLA)が物語の進行に伴うキャラクターの心理的変化を正しく反映できるかを評価するベンチマークを提案した研究(40 upvotes)。

新規性: 既存のベンチマークは特定の章での事実的な知識の再現を測定するのみで、キャラクターの心理的軌跡に沿った応答の整合性、特に価値観や行動が物語中で変化する場面での適切な反映を評価できなかった。ArcANEはキャラクターの心理的進化という時間軸を初めて評価対象に据えた。

手法: キャラクターの価値観・行動パターンが物語の進行とともに変化するシナリオを設計し、各時点でのRPLAの応答がキャラクターの心理的軌跡と整合しているかを体系的に評価する。固定ペルソナではなく動的な人格変化への追従能力を測定する。

Hugging Face Daily Papers


TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration

著者: Soyeong Jeong, Jinheon Baek, Minki Kang, Sung Ju Hwang

ユーザーが明示的に要求した問題だけでなく、文脈に潜在する未認識の問題をエージェントが能動的に発見するテンプレート誘導型反復フレームワークを提案した研究(35 upvotes)。

新規性: 既存のエージェントはユーザーの明示的な要求にのみ応答するが、実際のユーザー文脈には「気づいていないが重要な問題」が多数存在する。TIDEはエージェントが能動的に複数の問題を発見・提示するという、受動的応答から能動的発見への転換を提案した。

手法: テンプレートに基づく反復的な探索プロセスにより、ユーザーの広い文脈(ドキュメント、ツール、コード等)から潜在的な問題を体系的に発見する。各反復でテンプレートが問題発見の方向性を誘導し、発見された問題の重要度を評価する。

Hugging Face Daily Papers


AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints

著者: Jiayu Liu, Cheng Qian, Zhenhailong Wang et al.

世界制約(物理的・環境的制約)とユーザー制約(個人的な好み・要件)が段階的に開示される状況で、LLMエージェントが計画を適応的に修正できるかを評価するベンチマークを提案した研究(31 upvotes)。

新規性: 既存のベンチマークは制約が事前にすべて提示される設定を前提としており、実世界で頻繁に発生する「対話を通じて段階的に制約が明らかになる」状況での適応的計画能力を評価できなかった。AdaPlanBenchは二重制約の段階的開示という現実的な設定を初めて体系化した。

手法: 世界制約とユーザー制約の2種類の制約を段階的に開示するインタラクティブなタスク環境を設計し、LLMエージェントが新たな制約に応じて計画を動的に修正する能力を多角的に評価する。

Hugging Face Daily Papers


VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding

著者: Lin Fu, Zheyuan Yang, Yang Wang et al.

知識・推論集約型の動画理解を強化するため、145K本のCCライセンス動画から31.5万件の推論事例を構築した初の大規模学習コーパスを提案した研究(30 upvotes)。

新規性: 既存の動画理解データセットは表面的な記述や単純な質問応答に偏り、専門領域の知識や多段階推論を要する動画理解を十分に訓練できなかった。VideoKRは人間参加型のスキル指向パイプラインにより、知識・推論集約型の学習データを大規模に構築した初のコーパスである。

手法: 新たに収集した145KのCCライセンス専門領域動画に対し、人間参加型(human-in-the-loop)のスキル指向パイプラインで31.5万件の動画推論事例を生成。知識の統合と多段階推論を要する質問を体系的にカバーする。

Hugging Face Daily Papers


Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation

著者: Hanxu Hu, Zdenek Snajdr, Pinzhen Chen et al.

強化学習によりLLMから未知・低資源言語の文脈内翻訳能力を引き出す手法を提案した研究(23 upvotes)。継続学習や文法書のコンテキスト注入と異なり、テスト時のゼロショット転移を実現する。

新規性: 既存手法は継続学習や文法書のプロンプト注入により特定の言語に適応させるが、特定言語への過適合が起こりテスト時の転移が制限されていた。本研究はRLにより言語非依存の文脈内翻訳能力をLLMから引き出し、訓練時に見たことのない言語へのゼロショット転移を実現した。

手法: 強化学習を用いて、LLMが文脈内の手がかり(数例の対訳等)から未知言語の翻訳規則を推論する汎用的な能力を訓練する。特定言語への最適化ではなく、メタ的な翻訳学習能力の獲得を目指す。

Hugging Face Daily Papers


Rethinking Continual Experience Internalization for Self-Evolving LLM Agents

著者: Jingwen Chen, Wenkai Yang, Shengda Fan et al.

LLMエージェントの経験内在化(過去のインタラクションから得た文脈的経験をパラメトリックな能力に変換するプロセス)における多段階反復学習の課題を発見し、改善策を提示した研究(15 upvotes)。

新規性: 既存研究は単一反復の経験転送に焦点を当てていたが、本研究は多段階反復の継続学習設定で「忘却・干渉・品質劣化」が発生することを発見した。反復的な経験内在化の固有の困難を初めて体系的に分析し、対策を提案した。

手法: 多段階の反復的経験内在化における性能劣化パターンを分析し、過去の経験の干渉を緩和しながら新しい経験を効率的に統合する手法を設計。単一反復では見えなかった継続学習特有の課題に対処する。

Hugging Face Daily Papers


ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces

著者: Jinu Lee, Shivam Agarwal, Amruta Parulekar et al.

大規模推論モデル(LRM)の推論トレースをきめ細かい有向非巡回グラフ(DAG)として構造化し、バックトラックや自己修正などの非線形構造を可視化・分析するフレームワークを提案した研究。

新規性: LRMの推論トレースはバックトラック、自己修正、仮定設定など非線形な構造を持つが、既存の評価手法はこれらの構造を考慮しない。ReasoningFlowは推論トレースの談話構造をDAGとして形式化し、局所検証・自己反省・仮定設定といった細粒度の推論行動を初めて体系的に分析した。

手法: アノテーションスキーマを開発し、31トレース(2.1kステップ)の手動アノテーションで検証後、1,260トレース(247.7kステップ)に自動拡張。5モデル(QwQ-32B、DeepSeek-R1、GPT-oss-120B等)・3タスクで分析し、LRM間の構造的類似性や、誤ったステップの大部分が最終回答に使用されないことを発見した。

arXiv


State commitment learning: training language models to distinguish computation from memory

著者: Fei Ding, Yongkang Zhang, Runhao Liu et al.

推論言語モデルに一時的な計算(スクラッチワーク)と永続的な状態(コミットすべき情報)を明示的に区別させる新しい訓練目標を提案した研究。

新規性: 現在の推論モデルは計算用トークンと状態用トークンを区別せず、一度生成された隠れ思考はすべてコンテキストに残り後続の予測に影響を与える。失敗した試行やデッドエンドが永続化することで推論品質が低下する。State commitment learningは「消去しても答えが変わらない」という反事実的基準で永続状態を定義する初のアプローチである。

手法: Counterfactual Erasure RL(CERL)を提案。同一プレフィックスに対し、隠れ思考を保持するパスと消去するパスの両方を評価し、消去パスでも正解が維持される場合にのみ報酬を与える。数学・論理・科学QA・ツール使用タスクで、正確性を犠牲にせず隠れ思考への依存を大幅に低減した。

arXiv


Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents

著者: Ziyan Liu, Zhezheng Hao, Yeqiu Chen et al.

長期タスク向けLLMエージェントのメモリポリシーを、結果ベースのRLではなく中間メモリ品質に着目したメタ認知的アプローチで最適化する手法を提案した研究(5 upvotes)。

新規性: 既存手法は結果ベースの強化学習でメモリポリシーを訓練するが、長い軌跡の中で「どの時点のメモリ要約が最終結果に寄与したか」を特定できず、中間メモリの品質が放置される。本研究はメモリポリシーの中間品質をメタ認知的に評価・最適化する初の手法である。

手法: インタラクション軌跡の再帰的要約により生成されるメモリに対し、中間メモリ品質を局所化する評価信号を設計。結果報酬だけでなく、各時点でのメモリ要約の有用性を直接最適化することで、長期タスクでのメモリ管理を改善する。

Hugging Face Daily Papers


分野別の動向

エージェント評価・能力ベンチマーク

今日最も顕著なトレンドは、エージェント能力の新たな評価軸を提案するベンチマークの集中である。ArcANE(40 upvotes)はロールプレイエージェントの心理的軌跡追従、AdaPlanBench(31 upvotes)は段階的制約開示下での適応的計画、TIDE(35 upvotes)は能動的問題発見と、それぞれ異なる角度からエージェントの「動的状況への適応力」を測定する。arXivからもSABER(コーディングエージェントの運用安全性ベンチマーク)やForeSci(前向き研究判断の評価)が登場しており、前日のエージェント信頼性評価の流れが評価軸の多様化へと発展している。

エージェントメモリ・自己進化

Rethinking Continual Experience Internalization(15 upvotes)が多段階経験内在化の劣化パターンを発見し、Meta-Cognitive Memory Policy Optimization(5 upvotes)がメモリポリシーの中間品質最適化を提案した。arXivからもAutoMEM(エージェント自身がストレージを能動管理するメモリハーネス)やTMEM(パラメトリックメモリによる自己進化エージェント)が登場しており、前日のMemTrainに続きエージェントメモリの設計が引き続き活発である。経験の蓄積と活用を単一エピソードを超えて持続させる方向が共通のテーマとなっている。

推論の構造化・制御

ReasoningFlowが推論トレースのDAG構造化により非線形な推論行動を可視化し、State Commitment Learningが一時的計算と永続状態の区別を訓練目標として定式化した。前日のThoughtFold(推論チェーン圧縮)と合わせ、「推論プロセスの内部構造を理解・制御する」研究が連日で登場している。特にState Commitment Learningの反事実的消去基準は、推論モデルの信頼性向上に直結する実用的な貢献である。

コードLM・ソフトウェアエンジニアリング

Code2LoRA(42 upvotes)がハイパーネットワークによるリポジトリ適応型LoRA生成で最多票を獲得した。arXivからもCombinatorial Synthesis(コードRLVR向けの原子的分解・再結合によるスケーリング)やSePO(システムプロンプト自己最適化エージェント)が登場しており、コード生成の適応性とスケーラビリティが同時に追求されている。

多言語・翻訳

Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation(23 upvotes)がRLによる言語非依存の翻訳能力獲得を示した。arXivからもComplexityMT(テキスト複雑度と機械翻訳の相互作用ベンチマーク)やMultilingual Coreference Resolution via Cycle-Consistent MT(サイクル一貫性翻訳による低資源言語共参照解析)が登場しており、低資源言語への対応が多角的に進展している。

マルチモーダル・動画理解

VideoKR(30 upvotes)が知識・推論集約型の動画理解コーパスを構築した。同日にAdaCodec(動画MLLMの時間的冗長性削減)、Video2LoRA(動画のパラメトリック内在化)、LoomVideo(マルチモーダル入力の統合動画生成・編集)と、動画処理の効率化と能力拡張が複数方向から進んでいる。

ソース