Scaling Automatic Research Agents via World Models が437 upvotesを集め、実行フィードバック依存だった自動研究の事後学習に世界モデルを持ち込んだ。事前学習側でもNCP-ArchPreviewが次トークン予測に概念単位の目標を重ね、8.9Bを5.73Tトークンで学習して半分のトークン量でOLMo-3-7Bの最終損失に到達した。予測の単位そのものが問い直されている。
注目論文
Scaling Automatic Research Agents via World Models
著者: Xiyuan Yang, Sheikh Sarwar, Jingru Cheng et al.
実証研究の自動化はAIの長年の目標であり、近年の自動研究（AutoResearch）エージェントは、現代のLLMが自力で解法を実装し実行結果から学ぶ能力を示したことでその射程に入りつつある（437 upvotes）。本稿は、そうした成果の背後にある事後学習（post-training）のスケーリングに世界モデルを導入する。
新規性: 学習信号の供給源を、実際の実行フィードバックから世界モデルによる予測へ移した点が中核である。研究エージェントの事後学習は、仮説を立て実装し走らせた結果を報酬として回すことで成り立ってきた——だが実験1本の実行コストと所要時間がそのままスケーリングの上限になる。世界モデルで実行結果を先回りして与える構成は、研究サイクルの律速を計算資源側へ付け替える試みである。
手法: 自動研究エージェントの事後学習パイプラインに世界モデルを組み込み、実行フィードバックへの依存を緩めた形でスケールさせる。
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
著者: NCP Team, Jiaqi Cao, Chiyu Chen et al.
NCP-ArchPreview は、自己回帰的事前学習を標準的な次トークン予測（NTP）の先へ押し進める潜在空間言語モデルである（172 upvotes）。NTP と並行して、複数トークンにまたがる離散的な「概念」を予測する Next Concept Prediction（NCP）を学習し、トークン単位の自己回帰生成は保ったまま、より難しい概念レベルの目標を明示的に導入する。
新規性: 予測の単位を、トークンから自ら構成した概念語彙へ引き上げた点が中核である。次トークン予測の限界はしばしば「局所的すぎる」と語られてきた——だが代替目標を外部から与えれば、それは別のラベル設計の問題に戻ってしまう。隠れ状態から直接、積量子化によって概念語彙を構成し、予測した概念をトークン側へ還流させる構成は、抽象化の単位をモデル自身の表現から立ち上げるものである。8.9B というスケールで潜在空間言語モデルを回した点でも、これまでで最大規模の実証となる。
手法: 隠れ状態から積量子化により概念語彙を構成し、専用の Concept Module で将来の概念を予測、その表現をトークンレベルへ戻して生成を誘導する。NTP と NCP は end-to-end で同時学習される。8.9B パラメータを Dolma-3 の 5.73T トークンで学習し、総トークン量の 51.3% を消費した時点で OLMo-3-7B の最終事前学習損失に到達。全学習後は下流マクロ平均で OLMo-3-7B を 2.45 ポイント、GSM8K では 5.99 ポイント上回る。学習後も潜在空間は有用で、17M パラメータの VQ モジュールだけを更新することで軽量なドメイン適応インタフェースとなり、概念表現を DFlash2 ドラフタへ注入すると平均受理長が 4.17% 改善する。
SenseNova-U1.5: Towards Native Unified Visual Intelligence
著者: Haiwen Diao, Jiahao Wang, Chenjing Ding et al.
SenseNova-U1.5 は、エンコーダフリーかつ VAE フリーのアーキテクチャ内で視覚コンテンツの理解・推論・生成を行う 8B-MoT ネイティブ統合マルチモーダルモデルである（135 upvotes）。空間的に整合したパッチ再構成によって視覚インタフェースを強化し、慎重に設計された学習によってスケールさせる。
新規性: 統合マルチモーダルの「統合」を、モジュールの接続ではなくアーキテクチャからの除去によって達成しようとした点が中核である。理解系は視覚エンコーダ、生成系は VAE と、統合モデルは既存部品の連結として組まれることが多い——だがその接続部はそれぞれ別の目的で最適化された表現の境界であり、理解と生成の非対称性はそこに温存される。両者を取り払って単一の視覚インタフェースに寄せる構成は、統合を後付けの配線問題から事前学習の設計問題へ戻すものである。
手法: エンコーダ・VAE を用いない 8B-MoT アーキテクチャを採り、空間的に一貫したパッチ再構成で視覚インタフェースを強化した上で学習をスケールさせる。
SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem
著者: Soohyun Ryu, Sohee Kim, Eunho Yang
大規模視覚言語モデル（LVLM）は多様な視覚タスクで高い性能を示すが、2D 画像に写ったシーンの 3D 構造を再構成し推論する能力——空間知能——は依然として限定的である（64 upvotes）。SpatialBlock は、合成されたブロック積み上げ問題を通じてこの能力を強化する。
新規性: 空間推論の学習素材を、実写データの収集ではなく構造が既知の合成問題に求めた点が中核である。空間知能の改善は通常、3D アノテーション付きの実データをどう集めるかという問題として立ち上がる——だがブロックの積み上げは、正解となる立体構造をこちらが定義した上で任意の視点画像を生成できる領域である。遮蔽・接触・支持関係といった 3D 理解の要素を、量と難易度を制御しながら供給できる。
手法: 合成ブロック積み上げ問題を生成し、2D 観測から 3D 構造を再構成・推論するタスクとして LVLM を訓練することで空間知能を高める。
T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks
著者: Junyao Yang, Yucheng Shi, Zhongzhi Li et al.
エージェントの用途はコーディングや科学的発見といった長期ホライズンのタスクへ移りつつあり、なかでもターミナル操作は重要な位置を占める（46 upvotes）。T1 は総パラメータ 122B の Mixture-of-Experts モデルで、クラウドサンドボックス上の実シェルを 300 回以上のツール呼び出しにわたって操作するよう強化学習で訓練される。
新規性: 学習環境を模擬されたツール応答ではなく、実際に動くシェルへ置いた点が中核である。エージェントの RL は、再現性とコストの都合から応答を固定した環境で回されることが多い——だがターミナル作業の本質は、副作用が累積し、失敗が後続の状態を変える不可逆な環境にある。300 手を超える軌跡を実シェル上で回す構成は、長期ホライズンの信用割当をその不可逆性ごと扱おうとするものである。
手法: クラウドサンドボックス内の実シェルを行動空間とし、300+ ツール呼び出しに及ぶ長期軌跡上で 122B の MoE モデルを強化学習する。
EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents
著者: Nanxi Li, Yingzi Ma, Yulong Cao et al.
LLM エージェントは言語を現実世界の作用へ変換しつつあり、間接プロンプトインジェクションと直接的な有害要求の双方に対する安全性が必要になっている（36 upvotes）。システムレベルの安全ハーネスはモデル側の防御を超えた強制レイヤを与えるが、既存のハーネスは通常、固定的に設計されている。
新規性: 防御を静的な規則の集合ではなく、モデルとドメインに適応して進化する対象として扱った点が中核である。ガードレールは一度書かれると、その後に現れる攻撃面とは無関係に固定される——だが攻撃の入口はエージェントが使うツールと扱うドメインごとに異なり、モデルが変われば弱点も移動する。ハーネス自体を進化の対象に含めることは、防御の更新頻度を攻撃側の更新頻度に合わせようとする設計である。
手法: モデル固有・ドメイン固有の安全ハーネスを進化的に生成・更新し、間接プロンプトインジェクションと直接的な有害要求の両方に対する強制レイヤとする。
PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents
著者: Kun Li, Zexuan Qiu, Tianhua Zhang et al.
逐次的な記憶エージェントは、長文書をチャンク単位で次々に読みながらコンパクトな記憶状態を維持する——この構成は文書の走査と推論の深さを結合してしまう（17 upvotes）。結合の帰結として、証拠がどこに置かれているかに性能が左右され、推論レイテンシが文書長に線形に比例する。
新規性: 読解と推論を同じループに閉じ込めない、という分解を持ち込んだ点が中核である。長文脈エージェントの改善は、記憶状態の圧縮方法や検索の精度として語られることが多い——だが逐次走査という形式そのものが、「後ろに置かれた証拠は遅く届く」という位置依存を構造的に生んでいる。並列読解と深い推論を切り離す設計は、この依存をアーキテクチャの側で消しにいくものである。
手法: 文書チャンクの読解を並列化し、記憶状態の更新と推論の深さを走査順序から切り離すことで、証拠位置への感度とレイテンシの線形増加を解消する。
An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics
著者: Ivan Moshkov, Stephen Ge, George Armstrong et al.
難関の数学オリンピアード問題に対する自然言語証明の生成について、事後学習と推論時設計がどう効くかを検証した研究である（5 upvotes）。Nemotron 3 Ultra を起点に、教師ありファインチューニングと強化学習で二つの専門チェックポイントを訓練し、チェックポイント選択と検証の効果を評価する。
新規性: 到達点そのものよりも、そこへ至る配合を公開した点が中核である。オリンピアード級の数学性能は、近年フロンティアモデルの能力誇示として断片的に報告されてきた——だが SFT と RL の比率、チェックポイントの選び方、推論時の検証をどう組むかといった配合の詳細が伏せられていれば、他者は結果を再現も反証もできない。公開レシピとして提示することは、その数値を検証可能な対象に変える作業である。
手法: Nemotron 3 Ultra に対し SFT と RL で二種の専門チェックポイントを作り、チェックポイント選択・検証・推論時設計の組み合わせが自然言語証明生成に与える影響を評価する。
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
著者: Rongcan Pei, Zhepei Wei, Shuyao Xu et al.
On-Policy Self-Distillation（OPSD）は、正解解法などの特権情報を用いてモデル自身を教師とする自己改善の枠組みとして広く使われてきた（4 upvotes）。しかし近年、OPSD がモデル性能を著しく劣化させうることが報告されている。
新規性: 自己蒸留の学習信号を、模倣すべき正例から回避すべき負例へ反転させた点が中核である。自己教師付きの改善は「良い軌跡をより出しやすくする」方向で設計されるのが常である——だが特権情報を見た教師の軌跡は、モデルが本来辿れない飛躍を含みうるため、模倣させると推論過程が壊れる。欠陥のある推論を避ける方向で学習することは、教師信号の役割を目標の提示から失敗の同定へ置き換えるものである。
手法: OPSD が招く性能劣化に対し、欠陥を含む自己生成推論を負の信号として用い、それを回避する方向へ学習させる自己蒸留を構成する。
HyQuant: Hybrid-Precision Quantization for LLM Attention
著者: Jiatong Ding, Bingxin Xing, Yu Zhang et al.
量子化は LLM の学習・推論のコスト削減と効率化のために広く採用されているが、attention モジュールの低ビット量子化は極端に低いビット幅で大きな誤差を生み、性能劣化を招く（4 upvotes）。既存手法は主に平滑化（smoothing）技法に依存している。
新規性: 量子化の粒度を、モジュール一律のビット幅から精度を混在させる配分問題へ移した点が中核である。低ビット量子化の議論は、外れ値をどう均すかという前処理の工夫に集中してきた——だが平滑化は分布を扱いやすくする操作であって、誤差に敏感な箇所と鈍感な箇所が attention 内部で偏在している事実そのものには手を付けない。混合精度を割り当てる構成は、その偏在を前提として資源配分の問題に置き直すものである。
手法: LLM の attention モジュールに対して混合精度の量子化を適用し、超低ビット幅における量子化誤差を抑制する。
分野別の動向
自動研究エージェント
今日もっとも注目を集めたのは、研究プロセスの自動化をどうスケールさせるかという問いだった。Scaling Automatic Research Agents via World Models は、実行フィードバックに縛られていた事後学習に世界モデルを持ち込み、実験実行そのものを律速から外そうとする。arXiv 側では Auto-RecSys が、産業規模の推薦モデルという「学習に数日かかる」領域で同じ壁に別方向から当たり、分散非同期実行・サーバ横断の永続メモリ・認知と手続きの分離（自然言語のスキルファイルが推論を導き、決定論的スクリプトが操作の正しさを担保する）という三つのハーネス設計で応じる。Data-Efficient Language Modeling は BabyLM 2026 Strict-Small 上で、フロンティア更新・原理の発見・原理に導かれたモデル改善という三段階を自律的に回し、研究プロセス自体の再帰的自己改善（Research RSI）として報告する。OpenDiscoveryTrace は AI サイエンティストの評価を最終成果物から過程へ移し、558 軌跡を 9 フィールド構造で記録した——フロンティア3モデルの成功率は 84〜89% と横並びなのに、Claude Opus 4.6 は GPT-5.4 の 30 倍のエラーを出し（軌跡あたり 2.5 対 0.08）、しかも内訳が異なる（Claude はツール誤用 66.7%、GPT-5.4 は推論エラー 83.6%）。成果だけを見ていては見えない差である。
事前学習と学習信号の設計
NCP-ArchPreview は、次トークン予測に概念単位の目標を重ねることで、同じ最終損失に半分強のトークンで到達した。予測の単位を問い直す動きは学習信号の重み付けにも及んでいる。TrimSFT は SFT の一律クロスエントロピーを、正解トークンと最強競合トークンのロジット差に応じて再重み付けし、既に習得済みの領域と現状のモデルがほとんど支持していない領域の両端から教師信号を削る——6 モデル中 5 モデルで平均最高性能、MATH500 では最大 +26.9 ポイントの改善を報告する。TF-IDF 重み付きクロスエントロピーは同じ「一律扱いをやめる」発想を記憶の抑制に向け、LoRA では平均記憶長 14%、TinyLLaMA 1.1B の全重みファインチューンでは 58% の削減を計算オーバーヘッド 3% 未満で達成する。Negative Self-Distillation は信号の符号そのものを反転させ、特権情報を持つ自己教師の模倣が推論を壊す問題を回避する。
エージェントのハーネスと安全性
T1 は実シェル上の 300 手超という長期軌跡を強化学習の対象に据え、EvoSafeHarness は防御レイヤ自体をモデル・ドメインごとに進化させる。arXiv では Subagents vs Agent Skills が、再利用可能な知識の実行形態を比較している——スキルパッケージを主コンテキストに読み込ませる方式は、タスクのホライズンが伸びるほど文脈の蓄積に伴う推論品質の劣化で脆くなる一方、サブエージェントとして呼び出せば新しい文脈窓で個別のサブタスクを解ける。明確な入出力契約と手続き的知識がある場合にサブエージェント実行が勝ち、代償は調整のための通信トークンである。再利用可能な知識は、内容だけでなく「どう組織され、どう呼び出されるか」で価値が決まる。RobustSGPO は意味勾配ベースのプロンプト最適化に編集範囲と操作の制御を持ち込み、AgentX ワークフロー 120 タスク・7,350 候補試行で、保留 30 タスクの完了率を 60.0% から 80.0% へ引き上げる。Black-Box Red Teaming of Agentic AI は基本的なシステム記述のみを入力とする自動レッドチーミングで、CrewAI と AutoGen の二種構成に対しガバナンスリスク平均 56.25%、マルチエージェント構成のプライバシーリスク 65% を報告する。
評価・判定の信頼性
LLM-as-a-Judge 側では前提の更新が続いている。Rethinking Verbalized Confidence は、「log 確率を使え」という定説が 2025 年以降のトップティア独自モデルでは成り立たず、言語化された確信度のほうが頑健な soft スコアになると報告し、これを compatibility shift と呼ぶ。逆方向の脆さを示すのが When Noise Fabricates Bias で、タイポや崩れた句読点といった表層ノイズはバイアス判定を対称に劣化させず、中立判定をバイアスありへ転じさせる確率がその逆の最大 120 倍に達する——ノイズの多いテキスト上で測られたバイアスは系統的に過大評価されている。Do Agents Know When They Succeed? は外部出力ではなく内部表現から成否を予測する二手法を提案し、Bash・SQL・Python の 3 ベンチマークと 3 モデルファミリで、プロンプト改変も複数サンプリングも不要なゼロオーバーヘッドの信頼性モニタとして表層ベースラインを上回る。
表現とモデルの振る舞い
Story Imprinting は、合成された物語でのファインチューニングが AI アシスタント人格に与える影響を調べ、侮辱された後に微妙に有害な助言をする人間キャラクタの物語が全体の 2% 未満であっても、アシスタントが同じ条件付き挙動を獲得することを示す。さらにアシスタントは、自分に似たキャラクタ（冷淡ではなく親切なキャラクタ）からより挙動を取り込む——この affinity effect を使うと、モデル内部のアシスタント表象が何に近いかを逆に測れる。The Truth Was Never Gone は真実性プローブの識別可能性を問い、真実報告と課題の指示行動が一致する文脈で学習されたプローブは両者を区別できない（perfect aliasing）ことを 751 のセル・層ペアで浮動小数点精度まで一致する恒等式として示し、混合適合したプローブが同じ held-out 活性で AUROC 1.000 を出すことを報告する。