LLM/NLP最新論文

Code2LoRAがハイパーネットワークでリポジトリ特化LoRAを動的生成しコード言語モデルの進化追従を革新。ArcANE、TIDE、AdaPlanBenchがエージェント評価の新軸を提示し、VideoKRが知識集約型動画理解の大規模コーパスを構築した。

注目度

注目論文

Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

著者: Liliana Hotsko, Yinxi Li, Yuntian Deng et al.

コード言語モデルにリポジトリ固有のコンテキスト(インポート、API、プロジェクト慣習)を注入するため、ハイパーネットワークでLoRAアダプタを動的に生成する手法を提案した研究(71 upvotes)。

新規性: 既存手法はRAGによる長い入力コンテキストの注入か、リポジトリごとのファインチューニング/LoRA学習に依存しており、前者はコンテキスト長の制約、後者はリポジトリ規模でのコスト増大とソフトウェア変更への脆弱性が課題だった。Code2LoRAはハイパーネットワークがリポジトリの構造を読み取りLoRAパラメータを一括生成することで、個別学習なしにリポジトリ特化適応を実現する初のアプローチである。

手法: ハイパーネットワークがリポジトリの中間表現を入力として受け取り、コード言語モデル用のLoRAアダプタのパラメータを直接出力する。ソフトウェアの進化(API変更、依存関係更新等)に対しては、ハイパーネットワークが新しいリポジトリ状態から即座に更新されたアダプタを生成できるため、再学習が不要となる。

Hugging Face Daily Papers


ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

著者: Woojung Song, Nalim Kim, Sangjun Song et al.

ロールプレイ言語エージェント(RPLA)がストーリー進行に伴うキャラクターの心理的変化を正しく反映できるかを評価するベンチマークを提案した研究(45 upvotes)。

新規性: 既存のベンチマークは特定の章における事実的な知識の再現を測定するのみで、キャラクターの価値観や行動がストーリーの進行とともに変化する心理的軌跡への整合性は評価されていなかった。ArcANEは固定ペルソナではなく、物語の進行に応じた動的なキャラクター変化の追従を評価する初のベンチマークである。

手法: ストーリーの各段階におけるキャラクターの心理状態の変化を定義し、RPLAの応答が適切な時点のキャラクター状態と整合しているかを体系的に測定する。単なる事実再現ではなく、キャラクターの内面的変化への感応性を評価する。

Hugging Face Daily Papers


TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration

著者: Soyeong Jeong, Jinheon Baek, Minki Kang et al.

LLMエージェントがユーザーの明示的な要求を待たずに、ドキュメント・ツール・コード中の潜在的な問題を能動的に発見するテンプレート誘導型フレームワークを提案した研究(38 upvotes)。

新規性: 既存のエージェントはユーザーが気づいた問題にのみ対応するが、実際にはユーザーのコンテキスト内に未発見の重要な問題が多数存在する。TIDEはテンプレート誘導型の反復探索により、ユーザーが明示していない問題を能動的に発見・提示する初のフレームワークである。

手法: テンプレートに基づく反復的な探索プロセスにより、ユーザーのコンテキスト(ドキュメント、ツール、コード)を体系的に走査し、潜在的な問題を分類・優先度付けして提示する。単一問題の解決ではなく、複数問題の同時発見に焦点を当てる。

Hugging Face Daily Papers


AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints

著者: Jiayu Liu, Cheng Qian, Zhenhailong Wang et al.

対話中に段階的に開示される世界制約・ユーザー制約の下でのLLMエージェントの適応的計画能力を評価するベンチマークを提案した研究(37 upvotes)。

新規性: 既存のベンチマークは制約が事前に全て与えられる設定を前提としており、対話を通じて制約が逐次的に明らかになる現実的な状況での適応的計画能力は未評価だった。AdaPlanBenchは世界制約(物理的・論理的制約)とユーザー制約(個人的な選好・要件)の二重制約が漸進的に開示される設定を初めて体系化した。

手法: 漸進的に制約が開示されるインタラクティブな計画シナリオを構築し、LLMエージェントが新たな制約の出現に応じて計画を適切に修正できるかを評価する。世界制約とユーザー制約を明確に区別し、それぞれへの適応能力を独立に測定する。

Hugging Face Daily Papers


VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding

著者: Lin Fu, Zheyuan Yang, Yang Wang et al.

知識・推論集約型の動画理解を強化するため、145K本のCCライセンス動画から315Kの推論事例を構築した大規模訓練コーパスとフレームワークを提案した研究(34 upvotes)。

新規性: 既存の動画理解データセットは表面的な視覚認識に偏りがちで、専門知識や多段階推論を要する問題設定が不足していた。VideoKRは専門ドメインの動画を新規収集し、人間参加型のスキル指向パイプラインで知識・推論集約型の訓練データを大規模に構築した初の取り組みである。

手法: CCライセンスの専門ドメイン動画145K本を新規収集し、human-in-the-loopのスキル指向パイプラインにより315Kの推論事例を生成する。専門知識の活用と多段階推論を要する問題を体系的に設計し、動画MLLMの知識・推論能力を強化する。

Hugging Face Daily Papers


Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation

著者: Hanxu Hu, Zdeněk Šnajdr, Pinzhen Chen et al.

強化学習により、LLMが未知言語や低資源言語の文脈内翻訳能力を獲得することを示した研究(23 upvotes)。

新規性: 従来の手法はcontinued trainingや文法書のコンテキスト注入により特定言語への適応を図るが、特定言語への過学習やテスト時のゼロショット転移の限界があった。本研究は強化学習を用いることで、言語固有の知識ではなく「コンテキストから言語規則を抽出し翻訳に適用する」汎用的な能力をLLMから引き出すことに成功した。

手法: 強化学習によりLLMを訓練し、コンテキストに提供された言語情報(例文、文法規則等)から未知言語の翻訳規則を推論・適用する能力を獲得させる。特定言語への最適化ではなく、メタ学習的な文脈内翻訳能力の獲得を目指す。

Hugging Face Daily Papers


Rethinking Continual Experience Internalization for Self-Evolving LLM Agents

著者: Jingwen Chen, Wenkai Yang, Shengda Fan et al.

過去の対話経験をパラメトリック知識として継続的に内在化する自己進化型LLMエージェントにおいて、多反復転移の課題を発見し解決策を提案した研究(19 upvotes)。

新規性: 既存研究は単一反復の経験転移に焦点を当てていたが、本研究は多反復での経験内在化において性能劣化が生じることを発見した。継続的な経験蓄積がパラメトリック知識の干渉を引き起こすメカニズムを解明し、多反復設定での安定した自己進化を実現する手法を提案した。

手法: 過去のインタラクション軌跡からコンテキスト経験を抽出し、パラメトリック能力として内在化するプロセスを多反復にわたって実行する。反復間の知識干渉を軽減するための手法を導入し、継続的な自己進化の安定性を確保する。

Hugging Face Daily Papers


LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs

著者: Gianluca Barmina, Peter Schneider-Kamp, Lukas Galke Poech

LLMの訓練データ記憶漏洩を「強制的に引き出せるか」ではなく「通常使用時に自発的に漏洩するか」という観点から評価する新フレームワークPropMeを提案した研究(8 upvotes)。

新規性: 既存の記憶評価はプレフィックスベースの抽出など、モデルを強制的に記憶再現させる設定が主流であり、通常の使用条件下での漏洩傾向は評価されていなかった。PropMeは「漏洩可能性」と「漏洩傾向」を区別し、実際のユースケースに即したプライバシーリスク評価を可能にする。

手法: プレフィックスベースの強制抽出と通常使用時の自発的漏洩を対比するフレームワークを構築し、LLMが通常のインタラクションにおいてどの程度訓練データを再現する傾向を持つかを定量的に評価する。

Hugging Face Daily Papers


Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents

著者: Ziyan Liu, Zhezheng Hao, Yeqiu Chen et al.

長期タスクにおけるLLMエージェントのメモリポリシーを、メタ認知的アプローチにより最適化する手法を提案した研究(6 upvotes)。

新規性: 既存のメモリ拡張エージェントはアウトカムベースの強化学習でメモリポリシーを学習するが、中間段階でのメモリ品質の局所的な評価ができず、どこでメモリが劣化したかを特定できなかった。本手法はメタ認知的な自己監視により、中間メモリ状態の品質を逐次評価し、メモリポリシーの精緻な最適化を実現する。

手法: インタラクション軌跡の再帰的要約によるメモリ構築に対し、メタ認知的な品質評価メカニズムを導入する。結果ベースの報酬だけでなく、中間メモリ状態の品質を局所的に評価することで、メモリポリシーの最適化を高精度化する。

Hugging Face Daily Papers


分野別の動向

LLMエージェント評価・ベンチマーク

ArcANE、TIDE、AdaPlanBenchの3本が同日に登場し、エージェント評価の軸がさらに多様化した。ArcANEはロールプレイにおける動的キャラクター追従、TIDEはプロアクティブな問題発見能力、AdaPlanBenchは漸進的制約開示下での適応的計画という、いずれも従来のタスク完了率では捉えられない能力を評価する。前日のSABER(運用安全性)と合わせ、エージェント評価が「何ができるか」から「どう振る舞うか」へと質的に転換している。

LLMの自己進化・継続学習

Rethinking Continual Experience InternalizationとMeta-Cognitive Memory Policy Optimizationが、エージェントの長期的な学習・記憶の課題に取り組んだ。前者は多反復での経験内在化の安定性、後者はメモリポリシーの中間品質評価という異なる角度から、自己進化型エージェントの実用化に向けた基盤技術を提示している。

コード生成・ソフトウェア工学

Code2LoRAが71 upvotesと本日最高の注目を集め、ハイパーネットワークによるリポジトリ適応という新しいパラダイムを提案した。RAGとファインチューニングの中間に位置するアプローチとして、ソフトウェア進化への追従コストを劇的に削減する可能性がある。

多言語・翻訳

Reinforcement Learning Elicits Contextual Learning of Unseen Language Translationが、強化学習による汎用的な文脈内翻訳能力の獲得を示した。特定言語への最適化ではなくメタ学習的な能力獲得という点で、低資源言語への展開可能性が高い。

AI安全性・プライバシー

PropMeが訓練データ記憶漏洩の評価を「可能性」から「傾向」へと転換する枠組みを提案した。前日のLLM Anonymization Against Agentic Re-Identificationと合わせ、LLMのプライバシーリスク評価が実用条件に即した方向へ精緻化されている。

マルチモーダル・動画理解

VideoKRが315K規模の知識・推論集約型動画理解コーパスを構築し、動画MLLMの能力向上に向けた大規模データ基盤を提供した。表面的な視覚認識を超えた専門知識・多段階推論の評価という方向性は、動画理解分野の成熟を示している。

ソース