自然言語仕様をローカル小型関数へコンパイルするCompile by Training、完全公開レシピのLLaDA-Image、線形アテンション層の4bit量子化が壊れない理由の分析が並んだ。巨大モデルへの依存を蒸留・量子化・ローカル化で畳み直す話と、3D世界状態や時間制御を生成側へ統合する話が同居した一日となった。
注目論文
Compile by Training: Turning Natural-Language Specifications into Local Neural Functions
著者: Yuntian Deng, Pengyu Nie, Stuart Shieber
繰り返し使われるテキスト処理の多くは、言葉で説明するのは容易でもルールとして実装するのは難しい（316 upvotes）。かといって入力のたびに巨大な遠隔モデルを呼べば、コストと遅延、そしてプロバイダへの依存が毎回積み上がる。著者らは compile by training を提示する。自然言語で書かれた仕様を、再利用可能なローカルのニューラル関数へと「コンパイル」する枠組みである。
新規性: プロンプトを実行時の入力ではなくコンパイル時の入力として扱い直した点が中核である。プロンプトで振る舞いを記述する現在の運用では、仕様は毎回モデルへ送り直され、その都度フルサイズの推論が走る——仕様が固定されているにもかかわらず、実行のたびに仕様を再解釈させ続けている構造である。仕様を一度だけ読ませて小さな関数へ焼き込めば、以降の実行から仕様の再送も巨大モデルへの往復も消える。ソフトウェアにおけるコンパイルとインタプリタの関係を、自然言語仕様に対して持ち込む整理と言える。
手法: 自然言語仕様を入力として、その仕様を満たす小型のニューラル関数をローカルに訓練・生成し、以後の呼び出しをそのローカル関数で置き換える。
LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes
著者: Chuyan Chen, Haoxing Chen, Kun Chen et al.
LLaDA-Imageは、ゼロから訓練した6BのDiffusion Transformer（DiT）と、拡散言語モデル LLaDA2.0-Mini をバックボーンとする凍結済みの視覚言語理解モジュールを組み合わせた統一フレームワークである（227 upvotes）。最初から画像とテキストの対データに大きく依存する構成を採らず、訓練レシピ全体を公開している。
新規性: 画像生成の理解側を、専用に学習し直すのではなく拡散言語モデルの既存能力を凍結したまま接続した点が構成上の核である。加えて、性能そのものと同じ重みで「完全公開レシピ」が主張として置かれている——強い画像生成モデルは公開されても、それをどう訓練したかは公開されないことが多く、再現とアブレーションが外部から不可能な状態が続いてきた。生成品質の主張と再現可能性の主張を分けずに出している点が、この研究の位置づけを決めている。
手法: 6B DiT をスクラッチ訓練し、LLaDA2.0-Mini ベースの凍結視覚言語理解モジュールと組み合わせる。ペア画像テキストデータへの初期依存を抑えた段階的な訓練レシピを採る。
Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training
著者: Tingyun Li, Wenfeng Feng, Weiqing Li et al.
大規模言語モデルは広い能力を持つが、変化し続けるドメイン・ツール・要件へ適応させるには、ポストトレーニングを何度も繰り返すことになる（150 upvotes）。自律的なシステムはこの過程の一部を自動化する。更新案を提案し、候補を訓練し、評価フィードバックを使って次の提案を選ぶ、というループである。
新規性: 過去の経験を「使うかどうか」を条件付きの判断として明示的に扱った点が中核である。自律ループは試行の履歴を蓄積していくが、ドメインや要件が動いた後の履歴は、有用な近道であると同時に古い前提を引きずる負債でもある——常に再利用する設計は、環境が変わった瞬間に過去の成功例が誤った探索方向を指し続けることを許してしまう。再利用の可否そのものを判断対象へ引き上げる構成は、繰り返し行われるポストトレーニングを前提にしたときに立ち上がる問題設定である。
手法: 自律的ポストトレーニングのループにおいて、蓄積された経験を無条件に転移させず、条件に応じて転移の可否を判定する経験転移の枠組みを構成する。
RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning
著者: Howard Qian, Yiting Chen, Yunfei Xie et al.
ロボット学習は広く多様な実演データにますます依存するようになっているが、ロボット自身からのデータ収集は依然として高価であり、現実世界のタスクのロングテールを覆うのには向いていない（115 upvotes）。RoboTok はこのボトルネックに対し、人間の操作クエリを与えるとインターネット規模の映像から該当する実演を検索してくるデータエンジンを提示する。
新規性: データ不足への対処を、新規収集ではなく既存映像の検索問題として立て直した点が中核である。ロボット実機で集める限り、コストはタスク数に線形で乗り続け、ロングテールほど収集の割に合わなさが際立つ——一方で人間が同じ操作をしている映像はすでにインターネット上に大量に存在している。必要なのは撮ることではなく、欲しい操作を指定して引き当てる仕組みだ、という組み替えである。
手法: 人間の操作に関するクエリを入力として、インターネット規模の映像コーパスから該当する実演を検索し、器用な操作（dexterous manipulation）の学習データとして供給するエンジンを構成する。
Rethinking On-Policy Distillation of Large Language Models II: One Training Example
著者: Zixuan Fu, Bingxiang He, Yuxin Zuo et al.
On-policy蒸留（OPD）は、生徒モデル自身が生成したロールアウトと、教師モデルからのトークン単位の密な教師信号を組み合わせる手法である（78 upvotes）。既存研究は主にアルゴリズム的な振る舞いを調べてきており、訓練データが果たす役割は不明のままだった。著者らはこの役割を、データ最小の極限——単一のクエリのみで訓練する設定——で検証する。
新規性: データの寄与を測るために、量を増やす方向ではなく1件まで削り切る方向で実験を組んだ点が中核である。OPDでは教師信号がトークン単位で密に供給されるため、学習の駆動力がデータの多様性から来ているのか教師の密度から来ているのかが、通常のスケールでは分離できない——両者が同時に効いている限り、データを足した効果はいつでも「足したから良くなった」と読めてしまう。訓練例を1つに固定すれば、残った変化は教師信号側に帰属させられる。
手法: 単一クエリのみを訓練データとして on-policy蒸留を実行し、通常規模の設定と比較することで訓練データが担う役割を切り分ける。
Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
著者: Sergii Kozyrev, Davyd Maiboroda
ハイブリッドLLMは softmax アテンションと、Gated DeltaNet（GDN）のような線形アテンション層を組み合わせる（74 upvotes）。GDNの再帰状態は文脈を固定サイズに要約する。Qwen3.8-27B（GDN層48、アテンション層16）に対するコミュニティ初期の4bit量子化は、GDNブロックを8bitないし16bit精度のまま残していた——特に再帰状態まわりを、壊れやすい部分として避けていたわけである。
新規性: 経験則として避けられてきた箇所に対し、なぜ壊れないのかという理由の側から答えを与えた点が中核である。再帰状態は文脈全体を固定サイズへ畳み込むため、量子化誤差が時間方向に蓄積するという直感が働く——実際その直感が、初期の量子化実装でGDNだけを高精度に残す判断を支えていた。W4A4という重み・活性化ともに4bitの設定でそれが成り立つことを示せば、ハイブリッドモデルのメモリ内訳のうち層数で多数を占める側を丸ごと圧縮できる。
手法: 27Bハイブリッドモデルの48層のGDNブロックにNVFP4のW4A4量子化を適用し、劣化が生じない理由を再帰状態の性質から分析する。
Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
著者: Kang Liao, Yihang Luo, Xiao-Ming Wu et al.
Puffin-Worldは、物理的理解・空間シミュレーション・3D世界の生成と再構成を、外部のオフラインモジュールに頼らず単一のアーキテクチャへ統合するマルチモーダルモデルである（66 upvotes）。3D世界を信頼できる形で構築し、そこへ働きかけるために、枠組みは三種のネイティブな要素を同時にモデル化する。
新規性: 3D世界状態を後段のモジュールが持つ外部表現ではなく、モデルにとってネイティブな状態として抱え込ませた点が中核である。理解・シミュレーション・生成を別々の既製部品で繋ぐ構成では、各部品の表現が食い違ったところに破綻が集まり、しかもその破綻はどの部品の責任でもない形で現れる——3Dの一貫性は接続部で失われやすい。単一アーキテクチャ内に3D状態を置くことは、この接続部そのものを消しにいく設計である。
手法: 物理理解・空間シミュレーション・3D生成／再構成をネイティブに共同モデル化する統一マルチモーダルアーキテクチャを構成し、外部オフラインモジュールへの依存を排する。
Editable Visual Design
著者: Junyan Ye, Wei Liu, Dongzhi Jiang et al.
GPT-Image-2 や Nano-Banana といった拡散ベースモデルは目覚ましい視覚表現力を示すが、エンドツーエンドの生成は本質的に平坦なビットマップを吐き出し、文字は誤りを含みやすく、レイヤ単位の後編集ができない（42 upvotes）。一方、コーディングエージェントによるコードベースの視覚生成は編集可能性を提供する。本研究はこの両者を橋渡しする。
新規性: 生成物の品質と編集可能性を、二者択一ではなく同時に満たすべき要件として扱った点が中核である。デザインの実務では生成した画像がそのまま最終成果物になることはまずなく、文字の差し替えや要素の移動が必ず入る——ビットマップとして出力された時点で、その後の工程が全部「作り直し」になる。逆にコード生成は編集可能だが、拡散モデルの表現力には届かない。どちらの欠落も工程の側から見れば同じ一つの問題である。
手法: 拡散モデルの視覚表現力とコーディングエージェントによる構造化された出力を組み合わせ、レイヤ単位で後編集可能なビジュアル生成を実現する。
The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
著者: Yichen Liu, Quanwei Zhang, Haozhe Wang et al.
音声と動画を同時生成するモデルは、映像品質と音声・映像の同期において大きく進展してきた（33 upvotes）。しかし、ショット転換がいつ起きるか、台詞がいつ話されるかに対する制御は依然として限定的である。この制約が、脚本駆動のコンテンツ制作への応用を妨げている。
新規性: 同期という達成済みの性質と、タイミング制御という未達の性質を切り分けた点が中核である。音と映像が合っていることは、指定した瞬間に合わせられることを意味しない——同期は生成結果に事後的に成立する性質であり、脚本が要求するのは「3秒目でカットが変わり、その直後に台詞が始まる」という事前指定である。脚本という入力形式を前提に置くと、時間軸上のどこへ何を配置するかというルーティングが独立した設計対象として立ち上がる。
手法: 時間文脈のルーティング機構を導入し、ショット転換と発話のタイミングを脚本の記述から制御できる音声・動画同時生成を構成する。
Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
著者: Hongyu Qu, Guangming Yao, Ling Xing et al.
ストリーミング動画理解では、マルチモーダル大規模言語モデルが連続的な視覚入力を処理しつつ、厳密な因果性と有界なメモリの制約下でユーザのクエリへ応答する必要がある（29 upvotes）。既存手法は典型的に、過去の観測を外部メモリバンクへ圧縮し、クエリに関連する部分を検索して使う。
新規性: 記憶を、貯めて引き出すものではなく更新され続ける潜在状態として扱った点が中核である。外部メモリバンクからの検索は、クエリが来た時点で「何を探すべきか」が決まっている前提に立つ——だが観測は途切れなく流れ込み、後の入力が前の観測の意味を変えることもある。検索は過去を静的な在庫として固定してしまう。潜在メモリを漸進的に進化させる構成は、有界なメモリという制約を保ったまま、この静的さを外しにいくものである。
手法: 外部メモリバンクへの圧縮と検索に代えて、連続する視覚入力に応じて漸進的に更新される潜在メモリを保持し、因果性と有界メモリの制約下でストリーミング理解を行う。
分野別の動向
巨大モデル依存を畳み直す
今日もっとも票を集めた Compile by Training は、繰り返し呼ばれるテキスト処理について、仕様を実行のたびに送り直すのではなく一度コンパイルしてローカル関数へ焼き込むという整理を出した。コスト・遅延・プロバイダ依存という三つの負担が、いずれも「固定された仕様を毎回再解釈させている」という一点から派生しているという診断である。Why Gated DeltaNet Survives 4-Bit Quantization は同じ縮小を精度側から進め、これまで壊れやすいとして高精度のまま残されてきた27Bハイブリッドモデルの再帰層48層に W4A4 を適用し、劣化しない理由を再帰状態の性質から説明する。同日には、KVキャッシュ退避の常識を問い直す Random Attention（163 upvotes）、テキストでも画像でもない連続メモリトークンへ文脈を書き込む LatentPress（110 upvotes）、入力適応的な疎プリフィルの CRISP も並んでおり、推論コストをどの層で削るかという問いが表現・量子化・呼び出し構造の各段に散らばっている。
ポストトレーニングにおけるデータと経験の扱い
Rethinking On-Policy Distillation II は、訓練データを単一クエリまで削り切ることで、on-policy蒸留の駆動力がデータの多様性なのか教師信号の密度なのかを分離しにいく。Knowing When Not to Reuse は同じポストトレーニングの自律ループを別の角度から見て、蓄積した経験の再利用可否そのものを判断対象に引き上げる。ドメインや要件が動いた後では、過去の成功例は近道であると同時に古い前提の持ち込みでもある、という認識である。前日の DRACO や Environment Evolution が報酬と環境という外側の供給源を作り直していたのに対し、今日の二本は既に手元にあるデータと経験をどう扱うかへ向いており、同日の Small Language Models as Judges（ルーブリック採点を小型モデルへ寄せる試み）も報酬計算のコスト側から同じ領域に接している。
マルチモーダル生成の統合と制御
生成側では、部品を繋ぐ構成から統合された内部状態へ寄せる動きが目立つ。Puffin-World は物理理解・空間シミュレーション・3D生成を外部オフラインモジュールなしに単一アーキテクチャで抱え、3D一貫性が失われやすい接続部そのものを消しにいく。LLaDA-Image は6B DiT と凍結した拡散言語モデル由来の理解モジュールを組み合わせ、性能と並べて訓練レシピの完全公開を主張として置いた。The Missing Temporal Link は音声・動画同時生成において、達成済みの「同期」と未達の「タイミング指定」を切り分け、脚本駆動という入力形式から時間ルーティングを独立した設計対象として取り出す。Editable Visual Design は、拡散モデルの表現力とコーディングエージェントの編集可能性という、これまで択一だった二つを工程の側から一つの要件として束ね直す。
実世界データと記憶の獲得
RoboTok は、ロボット実演データの不足を新規収集ではなく検索の問題として立て直し、人間の操作映像をインターネット規模で引き当てることでロングテールの被覆を狙う。Beyond Retrieval は逆に、流れ込む映像に対して記憶をどう保つかを扱い、外部メモリバンクからの検索——クエリ時点で探すべきものが決まっている前提——を捨てて潜在メモリの漸進的進化へ移す。片方はデータをどこから取ってくるか、もう片方は取り込み続けた入力をどう保持するかという問いだが、いずれも「あらかじめ用意された固定のデータセット」という枠の外側で情報を調達しようとしている点で通じている。