LLM/NLP最新論文

エージェントの振る舞いを構造化するHarness Handbookが163 upvotesで首位。zero RLの1兆パラメータ化、消費者GPUによる許可不要の分散事前学習、統合マルチモーダルモデルなど、基盤側のスケールと運用性を問う研究が並んだ一日。

注目度

注目論文

Harness Handbook: Making Evolving Agent Harnesses Readable, Navigable, and Editable

著者: Ruhan Wang, Yucheng Shi, Zongxia Li et al.

現代のAIエージェントの能力は基盤モデルだけでなく、プロンプト構築・状態管理・ツール呼び出し・実行調整を担う「harness」に依存する。モデルやAPI、環境、要件の進化に合わせてharnessは継続的に改変する必要があるが、実運用のharnessは巨大で密結合、振る舞いが分散しており、修正すべきコード箇所の特定(behavior localization)がharness進化の中心的ボトルネックになっている(163 upvotes)。

新規性: 静的解析とLLMによる構造化を通じて、harnessコードベースから各振る舞いを対応するソースへ紐付ける「振る舞い中心表現(Harness Handbook)」を自動合成し、修正箇所特定を改善した点が貢献である。

手法: 高レベルの振る舞いから関連する実装詳細へエージェントを誘導し、候補箇所を現行ソースに照合するBehavior-Guided Progressive Disclosure(BGPD)を導入。散在する箇所・稀な実行経路・モジュール横断の相互作用で特に大きな改善を、より少ないプランナートークンで実現する。

arXiv

Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation

著者: Guoxuan Chen, Chufeng Xiao, Haoran Yang et al.

Base・Turbo・Edit・Edit-Turboの各バリアントから成る、オープンソースの統合マルチモーダル理解・生成モデル群を提案する。高品質なtext-to-image生成、高速推論、指示ベースの編集、そして中英バイリンガル対応を単一のモデルファミリーで両立させる(107 upvotes)。

新規性: 理解と生成を統合しつつ、標準・高速・編集の各用途をカバーするバリアント設計で、オープンソースとして競争力のある性能を実現した点が新しい。

手法: 統合マルチモーダルアーキテクチャを基に、生成・高速化・編集それぞれに特化した派生モデルを整備し、text-to-image生成と指示ベース編集を共通基盤で提供する。

Hugging Face Daily Papers

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

著者: Yubo Wang, Jiarong Liang, Yuxuan Zhang et al.

コーディングエージェントは外部ツールの返り値を進行中の推論に統合する必要があるが、標準的な左から右への事前学習はこの能力を順方向でしか露出させない。本論文は、コーディングエージェントの「行動-観測-継続」ループが関数呼び出し状況と構造的に同型であることに着目する(90 upvotes)。

新規性: エージェントの行動-観測-継続ループを関数呼び出しのfill-in-the-middleと同型化し、コーディングエージェント基盤モデルのmid-training目的として定式化した点が貢献である。

手法: 関数を意識したfill-in-the-middleを中間学習に用いることで、ツール返り値を挟んだ双方向の文脈統合を事前学習段階で獲得させる。

Hugging Face Daily Papers

Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

著者: Xinyu Tang, Gangqiang Cao, Yurou Liu et al.

人手注釈なしの検証可能報酬による強化学習(zero RL)は、連鎖的思考推論を引き出す強力なパラダイムとして台頭している。しかし計算資源の制約から、既存研究は小規模モデルに限られ、大規模での訓練は未踏のままだった(78 upvotes)。

新規性: zero RLを1兆パラメータ規模へスケールさせ、大規模モデルにおける創発的な連鎖推論を引き出した点が新しい。

手法: 検証可能報酬に基づくzero RLを1兆パラメータ規模に適用し、人手注釈に依存せず連鎖的思考推論の創発を実現する。

Hugging Face Daily Papers

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

著者: Haozhe Wang, Weijia Feng, Jinpeng Yu et al.

視覚生成器はレンダリングに優れる一方、知らないものを自信満々に捏造する。ユーザの要求は際限なく進化し、深いロングテール(新キャラクター、トレンドのエンティティ、学習カットオフ後の事象など)を含むため、固定コーパスで学習した生成器には構造的な世界知識のボトルネックが存在する(72 upvotes)。

新規性: agentic visual generationによって生成器の知識境界を進化させ、教えられていない未知エンティティに対応できるようにした点が貢献である。

手法: 生成器の固定的な世界知識の限界を、エージェント的な探索で境界を拡張することで補い、ロングテールな要求への追従を可能にする。

Hugging Face Daily Papers

Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models

著者: Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi et al.

数十億〜兆パラメータ規模のLLM訓練は、均質なアクセラレータ・高速インターコネクト・単一の統括主体を前提とするデータセンターに限定されてきた。一方、消費者・プロフェッショナル向けの異種GPUという膨大な計算資源は、可搬性がなく個人所有でインターネット接続のみのため、訓練に使えないまま眠っている(arXiv:2607.13332)。

新規性: インターネット級の回線上での帯域効率的なパイプライン並列モデル分割と、多者間・耐障害の集合通信を組み合わせ、誰も完全な重みを持たない「Protocol Learning」による許可不要の協調事前学習を実現した点が新しい。

手法: 各参加者がモデルの1ステージのみを保持する構成で、330の貢献ノード(主に消費者GPU)が40日かけて8.6BモデルをFineWeb-Edu 500Bトークンで事前学習。約17万トークン/秒を維持し、集中H100基準の63%の効率で中央参照実行に近い収束を達成した。

arXiv

OvisOCR2 Technical Report

著者: Shiyin Lu, Yinglun Li, Yu Xia et al.

0.8Bの文書解析モデルOvisOCR2を提案する。ページ画像を入力として、テキスト・数式・表・視覚領域を自然な読み順のMarkdown表現へend-to-endで生成する、エンドツーエンドのパーサとして設計されている(42 upvotes)。

新規性: 小規模(0.8B)ながら、文書ページを読み順に沿ったMarkdownへ一貫して変換できるend-to-end文書パーサを実現した点が貢献である。

手法: フィルタ済みの実文書データを組み合わせたデータエンジンを構築し、テキスト・数式・表・視覚領域を含む文書構造をMarkdownとして生成する。

Hugging Face Daily Papers

Metacognition in LLMs: Foundations, Progress, and Opportunities

著者: Gabrielle Kaili-May Liu, Areeb Gani, Jacqueline Lu et al.

メタ認知は学習・問題解決・意思決定・コミュニケーションに不可欠な知能の基盤要素であり、近年は有能で透明性のあるAIシステムの礎として認識が高まっている。しかしLLMが大きく進歩する一方で、そのメタ認知(自己の知識や限界の把握)の理解は体系化されていなかった(19 upvotes)。

新規性: LLMのメタ認知について、基盤・進展・課題を横断的に整理し、体系的な視座を提供したサーベイである点が貢献である。

手法: メタ認知に関する既存研究を整理し、LLMにおける自己の知識・限界の把握という観点から、基盤概念・到達点・今後の機会を構造化する。

Hugging Face Daily Papers

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

著者: Qingyu Zhang, Qianhao Yuan, Hongyu Lin et al.

構造化プルーニングはハードウェアに優しいLLM圧縮手法だが、多くは選択式の認識タスクで検証されており、同じ圧縮チェックポイントが実運用で必要な自由生成タスクでは崩壊しうる。圧縮後はgreedy pass@1がほぼ消失する一方でpass@kは繰り返しサンプリングで大きく回復し、有用な生成は消えずに降格されているだけであること、回復可能な領域は主にサフィックスの繰り返しで失敗することが観察された(arXiv:2607.13124)。

新規性: 圧縮モデル自身のオンポリシー状態上で密なトークンレベル教師信号を与えるOn-Policy Distillation(OPD)を、教師が確認した繰り返しサフィックスを検出して有効長を割り当てる「short-to-long」スケジュールに拡張した点が新しい。

手法: 圧縮前モデルを凍結教師として再利用し、繰り返しサフィックスを除いた有効プレフィックスに将来のロールアウト予算を配分。数学・コード・自由生成にわたり、未回復値の約9倍・標準手法(KDなし SFT/KD/SeqKD)の1.6〜4.4倍のスコアを、1/4の訓練時間と71%少ないロールアウトトークンで達成する。

arXiv

Discrete Diffusion Models: A Unified Framework from Tokenization to Generation

著者: Ye Yuan, Weien Li, Rui Song et al.

離散denoising拡散モデル(DDM)は、自己回帰(AR)モデリングに代わる有力な選択肢として台頭しており、並列生成と反復的な大域的洗練を可能にする。状態空間が固定される連続拡散とは異なり、DDMは根本的に異なる性質を持つ(7 upvotes)。

新規性: 離散拡散モデルを、トークン化から生成までを貫く統一的な枠組みとして定式化した点が貢献である。

手法: トークン化・拡散過程・生成を一貫して扱う理論的枠組みを整備し、離散データに対する並列生成と反復的洗練の特性を統一的に位置づける。

Hugging Face Daily Papers

分野別の動向

エージェントの運用性とスケール

上位を、基盤モデルの外側にあるエージェント基盤への関心が占めた。Harness Handbook(163 upvotes)はharnessの振る舞いを構造化して修正箇所特定を改善し、進化し続けるエージェントの保守性を正面から扱う。Function-Aware Fill-in-the-Middle(90 upvotes)はコーディングエージェントの行動-観測-継続ループを関数呼び出しと同型化して基盤モデルの中間学習に取り込む。「モデルを賢くする」だけでなく「harnessを扱いやすくする・エージェント志向で事前学習する」という運用寄りの視点が鮮明である。

事前学習と強化学習のスケール/効率

学習パラダイムのスケールと効率をめぐる研究が並んだ。Ring-Zero(78 upvotes)は人手注釈なしのzero RLを1兆パラメータへスケールし創発的推論を引き出す。Agora / Pluralis-8B(arXiv:2607.13332)は消費者GPUによる許可不要の分散事前学習を実証し、集中型H100の63%効率で8.6Bモデルを学習した。ShortOPD(arXiv:2607.13124)はプルーニング後LLMの生成品質を短時間で回復させる。巨大集中訓練と、分散・圧縮による民主化の両面から計算の使い方が問われている。

マルチモーダル理解・生成と文書AI

統合マルチモーダルと文書処理の実装が続いた。Boogu-Image-0.1(107 upvotes)は理解と生成を統合したオープンソースモデル群で高品質生成と指示編集を両立し、OvisOCR2(42 upvotes)は0.8Bの軽量モデルでページ画像を読み順Markdownへend-to-end変換する。Search Beyond What Can Be Taught(72 upvotes)は生成器の世界知識ボトルネックをエージェント的探索で克服しようとする。生成器の「知らないものへの対応」と、実用規模での軽量化が共通の関心である。

基盤の理解と定式化

理論・機構理解の層も厚い。Metacognition in LLMs(19 upvotes)はLLMのメタ認知を体系化するサーベイで、自己の知識・限界の把握という透明性の基盤を整理する。Discrete Diffusion Models(7 upvotes)は離散拡散をトークン化から生成まで統一的に定式化し、AR一辺倒だった生成の選択肢を理論的に整える。能力の拡張と並行して、その内部と枠組みを言語化しようとする動きが見える。

ソース