自然言語仕様を再利用可能なニューラル関数へ「コンパイル」するCompile by Trainingが314 upvotesで首位。エージェント軌跡を実行可能なターミナル環境へ再生するTerminal-Universe、KVキャッシュ選択信号の無効性を示すRandom Attentionなど、学習資源そのものを作り直す研究が並んだ。
注目論文
Compile by Training: Turning Natural-Language Specifications into Local Neural Functions
繰り返し実行される定型的なテキスト処理は、言葉で説明するのは容易でもルールベースで実装するのは難しく、かといって入力ごとに巨大なリモートモデルを呼べばコスト・レイテンシ・プロバイダ依存が積み上がる（314 upvotes）。本研究は「compile by training」を提案し、自然言語で書かれた仕様を再利用可能なニューラル関数へ変換する。
新規性: LLMの利用形態を、実行時の推論呼び出しからビルド時の一回きりの「コンパイル」へ移した点が中核である。プロンプトで記述された処理は毎回の呼び出しがそのまま可変コストになる——仕様は一度決まれば変わらないのに、その仕様の解釈だけを繰り返し買い続ける構造になっている。教師モデルにタスク固有の例を生成させ、それを訓練に用いて局所的な関数を得る構成は、この繰り返し支払いを一度の学習コストへ畳み込むものである。
手法: コンパイル時に教師モデルがタスク固有の事例を生成し、それを用いてローカルに動作するニューラル関数を訓練する。得られた関数は仕様に対応する再利用可能な部品として、リモート呼び出しなしに実行される。
Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments
ターミナル上で動作するコードエージェントが普及するにつれ、エージェントの軌跡は大規模に蓄積されてきた一方で、現実的かつ実行可能な環境は依然として希少である（268 upvotes）。しかしエージェントのポストトレーニングが実際に必要とするのは環境の側であり、環境は多数の検証可能なタスクへ再クエリでき実行フィードバックを返すのに対し、軌跡は凍結された単一のデモンストレーションにとどまる。
新規性: 蓄積された軌跡データの位置づけを、学習サンプルから環境の素材へ読み替えた点が中核である。軌跡は模倣学習の教師としては使えるが、そこから得られるのは一本の正解経路だけで、別の行動を試したときに何が起きるかは分からない——RLが要求する試行と検証のループには原理的に足りない。ゼロから環境を合成するのではなく既存の軌跡を実行可能な環境へ戻す構成は、希少な資源（環境）を潤沢な資源（軌跡）から作り出す方向にある。
手法: 蓄積済みのエージェント軌跡を出発点として、再クエリ可能で実行フィードバックを伴うターミナル環境をスケーラブルに構築する。
LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes
LLaDA-Imageは、スクラッチから訓練した6BのDiffusion Transformer（DiT）と、LLaDA2.0-Mini拡散言語モデルをバックボーンとする凍結済み視覚言語理解モジュールを組み合わせた統合フレームワークである（226 upvotes）。訓練レシピを全面的に公開している点も特徴となる。
新規性: 画像生成器の訓練順序を、ペアデータ依存から画像単独の先行学習へ組み替えた点が中核である。画像テキストのペアデータは収集にコストがかかるうえ量が制約となる——初期から言語条件付けに依存すると、視覚生成そのものの表現力がデータ量の天井に縛られる。画像のみの事前学習・中間学習で強い視覚生成事前分布を先に確立してから理解モジュールと接続する構成は、この制約をパイプラインの後段へ押しやるものである。
手法: 画像のみのpre-training / mid-trainingによって視覚生成の事前分布を構築し、6B DiTと凍結した拡散言語モデルベースの理解モジュールを統合する。訓練レシピは完全公開される。
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
LLMは長い推論を要するタスクで高い性能を示すが、長大なchain-of-thoughtはKVキャッシュを深刻なメモリボトルネックに変える（161 upvotes）。既存のKVキャッシュ圧縮手法は、各トークンに「後でどれだけ重要か」の推定スコアを付け上位を残すという単一のパラダイムを共有してきた。本研究は、その選択信号がほとんど何も寄与していないことを示す。
新規性: 改善の方向ではなく、既存手法が前提としてきた仕組みの有効性そのものを否定した点が中核である。退避戦略の研究は一貫してスコアリングの精度向上を競ってきた——どのトークンを残すかが性能を決めるという暗黙の前提があったからである。スコアに基づく選択とランダム選択が実質的に変わらないという観測は、これまでの改善が何に由来していたのかを問い直させるものであり、圧縮率とメモリ削減という別の軸へ議論を移す。
手法: 既存のスコアベース退避と、選択信号を用いない方式を比較し、選択信号の寄与を切り分ける。
Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training
LLMは幅広い能力を備えるが、変化し続けるドメイン・ツール・要件へ適応させるには繰り返しのポストトレーニングが必要になる（149 upvotes）。自律的なシステムは更新案の提示、候補の訓練、評価フィードバックによる次の提案の選択という流れを自動化するが、証拠が蓄積するにつれ「過去の更新の証拠のうちどれが今なお有効か」という中心的な問題が現れる。
新規性: 自律的ポストトレーニングの律速を、探索戦略ではなく過去経験の有効期限に定位した点が中核である。反復のたびにモデルもドメインも変わるため、以前は正しかった知見が現在の候補には当てはまらない——それでも証拠は蓄積し続けるので、素朴な再利用は古い前提を無自覚に持ち込むことになる。経験転移を無条件ではなく条件付きで行う設計は、「再利用しない」という判断を明示的な操作として組み込むものである。
手法: 過去の更新から得られた証拠に対して再利用の可否を条件付きで判定し、自律的ポストトレーニングのループにおける提案選択へ反映する。
LatentPress: Context Compression Beyond Text and Vision
圧縮されたコンテキストは通常、人間が読めるテキストか、デコードを要するレンダリング画像として保持される——その消費者が言語モデルであってもそうである（108 upvotes）。LatentPressは会話履歴や長文書を第三の表現、すなわち凍結デコーダが入力埋め込みインタフェースを通じて直接読み取る連続的なメモリトークンとして書き込む。
新規性: 圧縮表現の宛先を、人間からモデルへ徹底的に寄せた点が中核である。要約テキストにせよレンダリング画像にせよ、人間可読な中間形式は復号のステップを必ず伴い、その過程で情報が落ちる——読み手がモデルだけなら、人間可読性のために払っているコストは純粋な損失である。推論時にテキスト再構成を行わず埋め込み層へ直接流し込む構成は、この中間形式を省く方向にある。
手法: 会話履歴や長文書を連続的なメモリトークンへ符号化し、凍結したデコーダの入力埋め込みインタフェースから直接読み込ませる。推論時のテキスト再構成を不要とする。
RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning
ロボット学習は広範で多様なデモンストレーションへの依存を強めているが、ロボットデータの収集は依然として高コストであり、現実世界のタスクのロングテールを覆うには適していない（102 upvotes）。RoboTokは、クエリとなる人間の操作動画を与えると、Web上の動画から操作学習に関連する人間デモを検索してくるインターネット規模のデータエンジンである。
新規性: データ不足への対処を、収集でも生成でもなく検索として定式化した点が中核である。実機収集は正確だが量が出ず、合成は量が出ても現実の多様性を再現しない——一方でWeb上には人間が物を操作する動画が事実上無尽蔵に存在している。目標タスクの動画をクエリに関連デモを引き当てる構成は、ロングテールごとに必要な分だけデータを取りに行けるという点で、事前に網羅を目指す収集とは性質が異なる。
手法: 人間の操作動画をクエリとして、Web動画から操作学習に関連する人間デモンストレーションを検索し、器用な操作（dexterous manipulation）の学習に供給する。
Rethinking On-Policy Distillation of Large Language Models II: One Training Example
On-policy蒸留（OPD）は、生徒が自ら生成したロールアウトと教師からの密なトークンレベル監督を組み合わせる手法である（74 upvotes）。既存研究は主にそのアルゴリズム的挙動を扱っており、訓練データが果たす役割は不明のままだった。本研究はデータ量を極限まで削り、単一のクエリのみで訓練することでこの役割を検証する。
新規性: データの寄与を、量を増やす方向ではなく1件まで削る方向で測った点が中核である。通常のスケーリング実験ではデータ量とアルゴリズムの効果が混ざる——増やせば良くなるのは当然で、そこから「データが何を供給しているか」は読み取れない。1クエリでの訓練が数百ステップにわたり改善を続け、全データ設定の利得の大半を回復するという観測は、OPDにおける学習信号の主たる供給元が教師の密な監督側にあることを示唆する。
手法: 単一クエリのみでon-policy蒸留を実行し、ステップ数に対する改善の推移と、全データ設定に対する到達度をタスク横断で比較する。
Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
ハイブリッドLLMはsoftmax attentionと、Gated DeltaNet（GDN）のような線形attention層を組み合わせる。GDNの再帰状態は固定サイズでコンテキストを要約する（73 upvotes）。Qwen3.8-27B（GDN層48、attention層16）に対するコミュニティ初期の4bit量子化は、GDNブロック——とりわけdecayとwrite-strengthのゲート——を8bitや16bitのまま残していた。再帰では誤差が累積するという直観に基づく判断である。
新規性: 経験則として共有されていた量子化の除外領域を、実測で検証しにいった点が中核である。「再帰は誤差を蓄積するから低精度にできない」という直観は自然だが、検証されないまま48層分を高精度で残す判断の根拠になっている——もし誤りなら、ハイブリッドモデルの大半が不要な精度を抱えたままということになる。GDNがなぜ4bitに耐えるのかを問う構成は、除外の前提そのものを対象にしている。
手法: ハイブリッド27B LLMの再帰部（GDN）にNVFP4のW4A4量子化を適用し、decay / write-strengthゲートを含む各構成要素の精度に対する感度を分析する。
Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
Puffin-Worldは、物理理解・空間シミュレーション・3D世界の生成と再構成を、外部のオフラインモジュールに頼らず単一アーキテクチャへ統合した統合マルチモーダルモデルである（65 upvotes）。3D世界を確実に構築し相互作用するため、物理（重力場と緯度）、幾何（深度）、外観（画像）という3つのネイティブな世界状態を同時にモデル化する。
新規性: 世界モデルが保持すべき状態を、外部推定器からの入力ではなくモデル自身の出力表現として定義した点が中核である。深度や物理量を別モジュールで推定して条件として渡す構成では、モジュール間の不整合がそのまま世界の破綻になる——生成した外観と推定した幾何が食い違えば、相互作用の一貫性は保てない。物理・幾何・外観をネイティブ状態として同時に扱う設計は、この整合性をアーキテクチャの内側で担保しようとするものである。
手法: 重力場と緯度からなる物理、深度による幾何、画像による外観の3つを世界状態としてネイティブに共同モデル化し、理解・シミュレーション・生成・再構成を単一の統合マルチモーダルアーキテクチャで扱う。
分野別の動向
エージェント訓練の資源設計
今日の中心は、エージェントを賢くする手法ではなく、訓練に必要な資源をどう作るかにある。Terminal-Universeは環境の希少性に対し、既に大量にある軌跡を実行可能な環境へ戻すという方向を採り、Environment Evolution for Terminal Agentsは合成環境がモデルの向上に追いつかなくなる問題を共進化で扱う。DRACOは検証器を持たないoutcome-blindな長horizonタスクに対し、trajectory単位で一度だけ与えられるルーブリックスコアをステップへ分配する信用割当を導入する。いずれも「環境・タスク・報酬をどう供給するか」を主問題に据えており、モデル側の設計はその従属変数として扱われている。
経験と蒸留の再検討
学習信号がどこから来ているのかを測り直す研究も揃った。Rethinking On-Policy Distillation IIは訓練データを1クエリまで削り、それでも数百ステップにわたる改善と全データ設定の利得の大半が得られることを示して、OPDにおけるデータの役割を切り分ける。Knowing When Not to Reuseは自律的ポストトレーニングで蓄積した過去の証拠が時間とともに失効する点を扱い、経験転移を条件付きの操作として定式化する。Compile by Trainingも視点は近く、教師モデルの出力を実行時ごとに買うのではなく、コンパイル時に一度だけ蒸留して固定資産に変える。
圧縮と量子化の前提を問う
効率化の側では、既存手法が置いている前提の検証が目立つ。Random Attentionは、KVキャッシュ退避の研究が一貫して競ってきたトークン重要度スコアが実質的にほとんど寄与していないことを示す。Why Gated DeltaNet Survives 4-Bit Quantizationは「再帰は誤差が累積するから低精度化できない」という直観で高精度に残されてきたGDNブロックにNVFP4 W4A4を当て、その除外の根拠を検証する。LatentPressは圧縮コンテキストを人間可読なテキストや画像として保つ慣習を外し、凍結デコーダが埋め込み層から直接読む連続表現へ置き換える。Select, Compress, Reinvestも同系統で、長尺動画MLLMのフレーム選択を前処理の細部として扱ってよいかを条件を揃えて検証している。
マルチモーダル生成と世界モデル
生成側では、統合アーキテクチャと訓練レシピの公開が進む。LLaDA-Imageは画像のみの事前学習で視覚生成の事前分布を先に立ち上げ、凍結した拡散言語モデルベースの理解モジュールと接続する構成を完全公開レシピとともに示す。Puffin-Worldは物理・幾何・外観をネイティブな世界状態として同時にモデル化し、外部モジュール間の不整合を排する。Scal3Rは長尺動画のオンライン3D再構成が第一フレーム固定アンカーへの姿勢回帰によって崩壊する一方、フレームごとの深度は安定し続けるという観測から相対姿勢クエリを設計する。FlashRenderはカメラ制御が サンプリングステップ数に依存してしまう離散化誤差を扱い、少ステップでの生成的レンダリングを実現する。
生成物の物理的・意味的検証
世界モデルと動画生成の評価では、見た目の品質と物理的信頼性を分離する動きが強い。Principiaは絶対的な運動量の計測がフレームレートやスケール、カメラ較正に依存する点を回避し、同一シーン内の2物体が同じ物理法則に従うなら運動間に予測可能な関係が成り立つという相対的なテストを提案する。VeriPhyはテキストのみのプランナがプロンプトを型付きの物理的義務へコンパイルし、フレームを見る前に実行計画を静的検証する監査可能な構成をとる。WorldRewardは幾何ベース報酬と画像ベース報酬が別々に評価してきた要件を、カメラ条件付き世界モデル向けの単一の報酬モデルへ統合する。スカラーの品質スコアでは「どの義務をいつ破ったか」が言えないという問題意識が共有されている。
評価とベンチマークの再設計
評価手法そのものを組み直す論文も並んだ。Last Translation Benchmarkは機械翻訳の標準ベンチマークが飽和に近づき、自動指標がreward hackingに脆く、gold human evaluationですら十分でないという状況に対する提案である。RealSWEはSWE-benchのタスクが整理された情報量の多いGitHub issueから作られている一方、実際のユーザ要求ははるかに短く非構造的であるという乖離を、6カテゴリの情報タクソノミと4次元の言語スタイルで定量化する。Using Grounded Theory for Agent Behavior Analysisは、事前構築の分類器が通用しない長大なタスク群に対し、社会科学の質的手法である grounded theory を飽和基準つきで持ち込む。PACEはユーザ要求そのものに潜む矛盾を扱い、要求を正確に実行することだけを目標としてきた評価軸に「文脈上不適切なら拒否する」という次元を加える。
較正・最適化理論・応用領域
周辺領域では、CORDが事後較正の副作用に注目する——多クラス較正器は信頼度を直すついでにtop-1予測まで変えてしまうため、Top-1 Prediction Change Rateを指標に予測を保存したまま較正する。Percolation Dynamics in Optimizationは、SGDがネットワークをより単純な部分ネットワークへ導く過程をパーコレーションとしてモデル化し、離散スケール不変性を伴う分散カスケードとして記述する。応用側ではQCellが顕微鏡画像における重なった細胞のインスタンス分割をクエリベースで大域的に解き、A Common Measure of Communication for Speech BCIsは、データセットも記録法も語彙も異なるために比較不能だった音声BCI研究へ共通の進捗指標を提案している。