LLM/NLP最新論文

回答から逆向きに信用を割り当てるABSeekerが最上位に立ち、長期・クロス環境の日常タスクを測るOneDayAgent、実業務での自己進化を問うGDPevoが続いた。蒸留の教師信号を疑う研究群と、スキル進化・韓国語ギャップ・KVキャッシュ復元といった実装寄りの論点が同居した一日である。

注目度

注目論文

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

著者: Yijun Lu, Rui Ye, Jiajun Wang et al.

長期探索エージェントは、検索・取得・検証・証拠統合という複数の逐次的な行動を経て最終回答に至る(53 upvotes)。しかし既存の訓練手法は、軌跡内のすべてのステップを教師ありファインチューニング(SFT)でも強化学習でも一様に扱ってきた。

新規性: ステップごとの寄与度の差を無視する一様な扱いを問題として明示し、最終回答から逆方向にたどる形で信用割当を行う点が貢献である。

手法: 回答を起点に軌跡を後ろ向きに辿り(answer-backtracked)、各ステップが正解到達にどう寄与したかに応じて学習信号を配分する。SFTと強化学習の双方の段階に適用される。

Hugging Face Daily Papers

OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents

著者: Jingsheng Zheng, Xinyuan Fang, Jintian Zhang et al.

LLMエージェントは、仕事・学習・生活にまたがる開放的な日常要求へ適用されつつある(27 upvotes)。この種のタスクは長期・クロス環境・マルチモーダルであり、異種のツールや添付物を渡り歩きながら、多数のステップにわたって目標と制約を保持することを要求する。

新規性: 従来の評価が個別環境や短い区間に閉じていたのに対し、一日分の連続した活動という粒度でエージェントを走らせるハーネスを構築した点が新しい。

手法: 複数環境をまたぐ長期タスク群を用意し、目標・制約の保持と異種ツール/添付物の取り回しを一体として測る評価基盤を提供する。

Hugging Face Daily Papers

GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks

著者: Leijun Zhou, Zhihao Liu, Xiang Qu et al.

エージェントの自己進化とは、過去の経験から永続的な状態を更新し、それを関連タスクの解決に再利用する仕組みを指す(21 upvotes)。その評価は難しく、既存ベンチマークは経済的に価値のあるタスク領域のカバレッジが限られ、訓練用とテスト用のタスク設計も必ずしも分離されていない。

新規性: 実際の業務ドメインを対象に、訓練/テストのタスク設計まで含めて自己進化を測れるよう構成した点が貢献である。

手法: 経済価値のある実業務タスク群を整備し、永続状態の更新と再利用が本当に後続タスクの成績へつながっているかを検証する。

Hugging Face Daily Papers

Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning

著者: Yinghui He, Ling Yang, Jiarui Liu et al.

近年のLLMにおける長期推論は、ひとつの推論連鎖の内部で異なるスキルを切り替えることを要求する(20 upvotes)。たとえば、まず数学的導出を行い、その結果を用いて予定を立てるといった具合である。著者らはこうした問題をクロススキル長期タスクと呼ぶ。

新規性: 「ステップごとに異なるスキルを要する多段タスク」という問題クラスを明示し、スキルエントロピーという指標でその性質を定量化した点が新しい。

手法: 推論連鎖内のスキル分布をエントロピーとして測り、ベンチマーク構成と訓練の双方にこの指標を用いる。

Hugging Face Daily Papers

When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation

著者: Yinuo Jiang, Yongjie Ye, Zhou Tao et al.

オンポリシー蒸留(OPD)は、生徒がサンプリングした軌跡に対して教師から密なトークン単位の信号を与えることで能力を移転する(19 upvotes)。近年の選択的OPDは、確信度が高い・情報量が多い・学習可能といった基準で信号を優先してきた。

新規性: これら選択基準が置いている前提そのものを問い直し、教師信号に混入する疑似的なシグナルを考慮に入れる点が貢献である。

手法: 教師が与えるトークン単位信号のうち、真の能力ではなく擬似相関に由来するものを識別し、それを踏まえて蒸留対象の信号を選ぶ。

Hugging Face Daily Papers

NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap

著者: Dasol Choi, Joonyong Park, Daegon Yu et al.

英語と韓国語の性能差がどこで生じるのかを診断するために手続き的に生成されたパズルベンチマークである(17 upvotes)。15種類のパズル(25タスク、7,500問)からなり、全事例がシードから再生成可能で、解が一意であることが検証され、決定論的に採点される。

新規性: 難しさを「規模の大きさ」ではなく振る舞いに基づいて較正した点が特徴である。各ジェネレータは、基準モデルが目標精度帯に収まるよう調整される。また、直訳で対応づけたタスク、ハングルの字母(jamo)に対する書記素適応、韓国文化・正書法に根ざした韓国語専用タスクという三層構成を採る。

手法: フロンティア・オープンウェイト・韓国製の15モデルを評価。全体精度3%の下限を超える12モデルでは、対応づけた英韓の精度は±10ポイントの等価性検定(TOST)内に収まり、提示言語そのものによる損失は小さい。一方で書記素処理を多く要するタスクでは差が鋭く、Korean Cipherは英語に最大68.7ポイント劣後した。同じ字母上のCryptarithmeticには系統的なペナルティが見られず、Jamo Composition精度がKorean Cipher精度を予測する。

arXiv

K-EXAONE 2.0 Technical Report

著者: Eunbi Choi, Kibong Choi, Sehyun Chun et al.

LG AI Researchが開発したオープンウェイトの多言語基盤モデルに関する技術レポートである(12 upvotes)。グローバルなフロンティア規模の基盤モデルに向けた取り組みの一段階として位置づけられている。

新規性: ゼロから訓練し直すのではなく、既存のK-EXAONEをupcycleしてアーキテクチャを拡張し、Mixture-of-Experts構成を得るという経路を採った点が特徴である。

手法: 既存モデルの重みを起点にアーキテクチャを拡張してMoE化することで、フルスクラッチ訓練のコストを回避しつつ規模を伸ばす。

Hugging Face Daily Papers

Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance

著者: Zhuowen Han, Jinwei Xiao, Zhengxi Lu et al.

検証可能な報酬による強化学習(RLVR)はLLMの事後訓練の標準的枠組みとなったが、広く採用されるGRPOは報酬信号の疎さに苦しむ(12 upvotes)。とりわけ、グループ内の全応答が失敗した場合には勾配が完全に失われる。

新規性: この「負のグループ」で学習信号がゼロになる構造的欠落に着目し、そこへ適応的な教師誘導を注入して信号を回復させる点が貢献である。

手法: 全応答が失敗したグループに対し、適応的に教師からの誘導を与えることで、本来なら消えていた勾配を学習に取り戻す。

Hugging Face Daily Papers

ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?

著者: Tianyi Guan, Yiding Wang, Haotong Yang et al.

現代のエージェントフレームワークは、複雑なタスクを解くために外部のスキルライブラリをLLMに付与する(11 upvotes)。しかし、こうした仕組みが実際にスキルを進化させられているのか、そして得られたスキルが課題解決能力の向上につながっているのかは明らかでない。

新規性: スキル獲得の有無だけでなく、獲得されたスキルが下流の性能に寄与しているかまで切り分けて検証する枠組みを提示した点が新しい。

手法: 継続的なスキル獲得の過程を測るタスク群を整備し、スキルライブラリの進化と課題解決力の関係を評価する。

Hugging Face Daily Papers

RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction

著者: Changwoo Baek, Seungjun Shin, Kyeongbo Kong

クエリ非依存のKVキャッシュ削減は、コンテキストを一度圧縮してその結果を任意の将来クエリに再利用するが、予算が厳しい場合に性能が崩壊しうる(10 upvotes)。既存手法は主に「どの元のKVペアを残すか」という選択の改善に注力してきた。

新規性: 選択を改善する路線を補完する形で、削られた分の挙動を復元するという別軸を導入した点が貢献である。

手法: 残すKVの選択に加えて、フルキャッシュ時の挙動を再現するための復元機構を組み合わせ、積極的な削減下でも性能低下を抑える。

Hugging Face Daily Papers

分野別の動向

長期エージェントの信用割当と評価

エージェントの長期タスクをめぐって、訓練側と評価側が対になって現れた。ABSeeker(53 upvotes)は、軌跡内の全ステップを一様に扱ってきた既存訓練の前提を崩し、回答から逆向きに信用を配分する。OneDayAgent(27 upvotes)とGDPevo(21 upvotes)は評価側から同じ問題を突く。前者は仕事・学習・生活をまたぐ一日分の活動を、後者は経済価値のある実業務タスクを舞台に据えた。Toward Skill-Native LLMs(20 upvotes)は、推論連鎖の内部でスキルが切り替わる構造をエントロピーとして測り、長期性を「ステップ数」ではなく「スキルの多様性」として捉え直す。長さを扱う手法から、長さの内部構造を扱う手法への移行が見える。

蒸留と強化学習の信号設計

教師信号をどこまで信じるかが共通の争点となった。When Teachers Mislead(19 upvotes)は、選択的オンポリシー蒸留が依拠してきた「確信度が高い/情報量が多い/学習可能」といった基準の前提を疑い、教師の密なトークン信号に混入する擬似シグナルを識別対象に据える。Distill Where You Fail(12 upvotes)は反対側から、GRPOでグループ内の全応答が失敗して勾配が消える場面に適応的な教師誘導を注ぎ、失われた信号を回復させる。ReflectRL(3 upvotes)も、専門家が難問で失敗したときに軌跡誘導型手法が拠り所を失う問題を扱っており、「教師が間違う/届かない領域」の扱いが独立した論点として立ち上がっている。

エージェントのスキルと記憶の検証

蓄積された内部状態が本当に機能しているかを問う研究が並んだ。ContinualSkillBench(11 upvotes)は、外部スキルライブラリを持つエージェントがスキルを進化させ、それが課題解決力の向上につながっているかを切り分けて検証する。SKILL-KD(9 upvotes)は、スキルを経験要約や成功事例の要約として扱う既存手法が弱い生徒エージェントとの間に生む不整合を指摘する。cs.AIではWhat Is a Skill Worth?(Shapley値によるスキル単位の価値評価)やSafeCommit(記憶の陳腐化・矛盾が未解消のまま行動する早期コミットを認証で防ぐ)が現れ、スキルと記憶の内訳を測る方向が固まりつつある。

多言語・低資源言語の性能診断

言語間格差を「どこで生じるか」まで分解する研究が目立った。NOLLI(17 upvotes)は英韓のパズル7,500問で、提示言語そのものによる損失は±10ポイント内に収まる一方、字母レベルの多段処理を要するタスクでは最大68.7ポイントの差が開くことを示す。cs.CLのMind the Cap(arXiv:2608.04160)は視点を変え、多言語推論ギャップの測定値が出力トークン上限という隠れ変数に最大57ポイントも左右されると報告する。K-EXAONE 2.0(12 upvotes)がupcycleによる多言語基盤モデル構築を報告する一方で、タジク語の電子辞書構想(arXiv:2608.04186)のような低資源言語向けの設計論も並んだ。

推論効率と量子化

実行コスト側では、キャッシュと重みの両面で削減が進んだ。RestoreKV(10 upvotes)は、クエリ非依存のKVキャッシュ削減において「何を残すか」ではなく「削った分をどう復元するか」という軸を導入する。cs.LGのNOVA-KV(arXiv:2608.04074)はKVキャッシュ量子化を変換符号化問題として定式化し、注意積の誤差を歪み尺度に据えて最適変換を閉形式で導く。ARCHead(5 upvotes)はBF16のまま残されがちなLM headの量子化を扱い、RRQ(arXiv:2608.04048)は単一チェックポイントから複数ビット幅を段階的に構成する。削減対象が本体重みからキャッシュ・出力ヘッドへと細分化している。

評価手法の信頼性への疑い

測定値そのものを疑う論文がcs.CLに集中した。The Calibration Floor(arXiv:2608.04355)は、自己修正による精度変化の多くが推論内容ではなく回答抽出時のフォーマット修復に由来しうると示し、文法制約デコードによって因果的に検証する。Social Pressure Breaks Majority Voting(arXiv:2608.04415)は、複数モデルの多数決による安全性判定が、全モデルが同じ誤導的文脈を見ると崩れることを扱う。cs.AIのAgreement Before Diversity(arXiv:2608.04618)は逆に、検証構造が置換の権限を与えるという立場から、ラベル不要の合意ゲートを提案する。集約すれば強くなるという前提が、複数方向から検証にかけられている。

ソース