DataFlex-RLが96 upvotesで首位となり、RLVRのデータ方針を共通レシピ下で比較する評価基盤が前面に出た。Fixed State, Long Reachの定数サイズキャッシュやBreaking the Token Ceilingのバイトモデル蒸留と合わせ、学習の「何を食わせるか」と推論の「どこを削るか」が並んだ日である。
注目論文
DataFlex-RL: An Evaluation Platform for RLVR Data Policies
著者: Hao Liang, Mingrui Chen, Hengyi Feng et al.
検証可能報酬を用いた強化学習（RLVR）において、データ方針は「どのロールアウトを使うか」「どれだけ強く重み付けるか」「どのドメインが後続のバッチに寄与するか」を決める（96 upvotes）。DataFlex-RL は、これらの選択を共通の GRPO レシピの下で比較するための評価プラットフォームである。
新規性: RLVR の改善を、アルゴリズムの新手法ではなくデータ方針という独立した設計軸として切り出し、比較可能にした点が中核である。RLVR の報告は通常、データの選び方とアルゴリズムの変更が同じ実験の中で同時に動いており、どちらが効いたのかを外から切り分けられない。共通レシピを固定してデータ方針だけを差し替える構成は、この交絡を実験設計の側で外しに行くものである。
手法: 統一された GRPO レシピの上で、ロールアウト選択・重み付け・ドメイン配分といったデータ方針を差し替えながら比較できる評価基盤を構築する。
Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models
著者: Zongjie Li, Alan Z. W, John Nicolas J et al.
能力の高いサイバーエージェントの訓練は主にモデル規模の問題として扱われがちだが、オープンウェイトのポストトレーニングを実際に制約しているのは、実行可能な環境のコスト・信頼できるマルチターンの教師信号・強力な教師モデルへのアクセスである（75 upvotes）。本稿はこの点に的を絞ったデータ中心のフレームワークを提示する。
新規性: 制約をパラメータ数ではなく「環境と教師データの調達コスト」に置き換えた点が中核である。フロンティア級の能力はスケーリングの結果として語られることが多い——だがサイバー領域のエージェントは実行可能な環境の中でしか学習信号を得られず、その環境を用意すること自体が律速になる。データ側から組み直す構成は、オープンウェイトで追随するための現実的な経路を示すものである。
手法: 実行可能環境の構築、マルチターン監督の生成、教師モデルの活用を束ねたデータ中心のポストトレーニング枠組みを設計する。
Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation
著者: Koutian Wu, Junjie Zhou, Ergan Shang et al.
ベンチマークの研究者や LLM の開発者は、関連する評価を見つけ、そのデータセットとコードの所在を特定し、報告されたスコアの背後にある設定を理解する必要がある（75 upvotes）。Benchmark Radar は、その検索を担う継続更新型のデータベースと検索エンジンである。
新規性: 評価そのものを検索対象のメタデータとして構造化し、静的な一覧ではなく更新され続ける資源として保守する点が中核である。ベンチマークはサーベイ論文や散在するリポジトリの形で参照されるのが通例である——だが評価は増え続け、報告スコアは設定次第で意味が変わるため、公開時点で固定された一覧はすぐに実態と乖離する。データセット・コード・設定を紐付けて検索可能にする構成は、評価の追跡可能性を運用の問題として扱うものである。
手法: AI ベンチマークとその評価設定を収集・構造化し、検索エンジンとして提供する継続更新型データベースを構築する。
Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
著者: Jianman Lin, Shailesh Shailesh, Zhongyi Luo, Jiafei Duan
ロボット基盤モデルは分布内では高い性能を示すが、視覚的な分布シフトの下では劣化しやすい（63 upvotes）。事前学習済みの視覚表現から行動を生成する学習の過程で、モデルは訓練分布内でたまたま行動と相関するタスク無関係な視覚手がかりを利用してしまう。
新規性: 汎化の失敗をデータ量の不足ではなく、視覚と行動のあいだに生じる「近道」の問題として定式化した点が中核である。分布シフト耐性はデータ拡張や表現の事前学習で改善が試みられてきた——だが行動が視覚から直接生成される限り、相関するだけの手がかりを使う経路は残り続ける。潜在インタフェースを学習の間に挟む構成は、その経路を構造的に断つためのものである。
手法: 視覚表現と行動生成のあいだに潜在インタフェースを置いて学習させ、タスク無関係な視覚手がかりへの依存を抑えることで視覚分布シフトへの頑健性を高める。
Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale
著者: Vaibhav Singh, Pierre-André Noël, Torsten Scholak et al.
拡散言語モデルはトークンを並列に復号できるが、双方向のデノイザは自己回帰推論を速くしている KV キャッシュをそのままでは使えない。ブロック拡散はブロック単位の復号によってキャッシュを復活させるが、これまで用いられてきたブロックキャッシュは Attention に紐付いており、メモリが系列長に対して O(L) で、学習後の後付けとして使う場合はモデルの計算の近似にとどまる。
新規性: キャッシュを Attention から切り離し、ブロック因果的な学習目標によって近似ではなく厳密なものにした点が中核である。確定済みブロックを再利用可能な状態へ要約する系列ミキサを使えばブロックキャッシュは成立し、対応する学習目標を置けばキャッシュはモデルの計算そのものと一致する。本稿はこのレシピを 3B 規模・300B トークンの事前学習で検証した点で、設計提案にとどまらない。
手法: Attention・Mamba・ハイブリッドの 3 種類の 3B ブロック拡散デノイザを単一の目標関数で 300B トークン事前学習し、共通のキャッシュ付きインタフェースで復号する。状態空間キャッシュのみが系列長に対して O(1) となり、256k トークン時点で Attention キャッシュ（82GB・29ms/step）に対して 4.3 倍の低遅延・11 倍の省メモリ・2.6 倍のシングルストリームスループットを示す。フットプリントが一定であるためバッチ方向にもスケールし、集約スループットでは 14 倍に達する。Mamba とハイブリッドの系列は訓練長の 8〜16 倍まで検索性能を保ち、Attention は 2 倍で崩壊した。
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
著者: Zhiwei Li, Lei Zhu, Hao Gu et al.
学習後の Attention 疎化は、クエリごとに少数のコンテキスト単位（トークンまたはブロック）を選ぶことで、事前学習済み Transformer の二次的な累積 Attention コストを削減する（50 upvotes）。既存の学習可能な手法は、軽量セレクタでコンテキスト単位をスコアリングし、その後ハード Top-K で選ぶ構成をとるのが一般的である。
新規性: 選択をセレクタ＋ハード Top-K の二段構えから、コンテキスト順位付けの end-to-end 最適化へ置き換えた点が中核である。ハード Top-K は選択を離散化するため、セレクタの学習信号が選択の外側で切れてしまう——結果としてセレクタは疎化後の性能そのものではなく、その代理を学ぶことになる。順位付けを最終的な目的関数に直結させる構成は、この分断を解消するためのものである。
手法: コンテキスト単位の順位付けを end-to-end に最適化する形で Attention 疎化を学習させ、軽量セレクタとハード Top-K の組み合わせに依存しない選択を実現する。
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
著者: Haojun Zhang, Yi Zou, Min Chen et al.
音声エンコーダの深さを削れば音声 LLM の推論コストは下がるが、ブロックを丸ごと除去するとデコーダが受け取る埋め込みが乱れ、脱落（deletion）や早期 EOS といった生成エラーを招く（43 upvotes）。X-AuT は、層の組み合わせを選択しながら段階的に圧縮する枠組みである。
新規性: 圧縮を一度きりのブロック除去ではなく、スケールをまたぐ蒸留を伴う段階的な手続きとして組んだ点が中核である。エンコーダの層削減は推論コストに直結する分かりやすい削りどころである——だが音声 LLM ではエンコーダ出力がそのままデコーダの入力分布を決めるため、除去による摂動が生成の破綻として表面化する。段階的に層を選び、スケール横断の蒸留で埋め込みを合わせ込む構成は、この摂動を吸収するためのものである。
手法: 層の組み合わせを選択しながら段階的にエンコーダを圧縮し、クロススケール蒸留によってデコーダが受け取る表現を保つ。
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
著者: Kalyani Marathe, Artidoro Pagnoni, Tomasz Limisiewicz et al.
小型モデルは、同じトークナイズ方式を共有する大型モデルからの蒸留によって能力を高められる。では蒸留されたバイトモデルとトークンモデルは、計算量とデータ量の増加に対して同じスケーリング傾向を示すのか——本稿はその比較を可能にするところから始める。
新規性: トークナイズ方式と学習目標という二つの次元を同時に動かした大規模な過学習（overtraining）研究として、バイトモデルの蒸留を初めて正面から扱った点が中核である。比較の前提として、トークンのロジットをバイトのロジットへ変換する二つの手法——近似的な Marginalize-It と厳密な End-Of-Token——を導入している。
手法: 約 1B パラメータの層・パラメータ整合したデコーダのみの密な Transformer を、最大 1T バイトのデータでスイープする。Multiple Choice QA・言語生成・機械翻訳の 3 カテゴリ 8 ベンチマークにおいて、Token-1B は低 FLOP 領域でバイトモデルを上回るが頭打ちになり、バイトモデルは出発点で劣るものの計算量を増やすと追い越し、より高い到達点に達する。スケーリング則の外挿では、蒸留された End-Of-Token-1B が蒸留 Token-1B を漸近的に最大 4% 上回り、同等性能を 1/6 のデータで達成する。語彙が 256 バイトであるためロジット取り出し時の top-k 打ち切りが不要になり、保存コストは約 1/5 に下がる。
Beyond Solver Verdicts: Generative Reward Models for Autoformalization
著者: Vikash Singh, Debargha Ganguly, Aman Goel et al.
ニューロシンボリックなシステムは推論の正しさを保証するために数学ソルバに依存するが、ソルバは形式化された命題が元の記述と厳密に等価かどうかを原理的に判定できない（33 upvotes）。本稿はこの脆弱性を Verdict-Preserving-Unfaithfulness（VPU）として定式化する。
新規性: 自動形式化の失敗モードを、ソルバの判定が通ってしまう不忠実性という形で名前を与え、切り出した点が中核である。形式化の正しさはソルバが証明できるかどうかで測られるのが通例である——だがソルバの判定は与えられた形式命題の内部でしか働かず、その命題が元の問題を写しているかは視界の外にある。生成的報酬モデルを検証側に据える構成は、ソルバが原理的に見られない部分を別の機構で覆うものである。
手法: ソルバの判定を保ったまま参照等価性を破る不忠実性（VPU）を定義し、生成的報酬モデルによって形式化の忠実性を評価する。
StepAudio 3 Gen Technical Report
著者: Bin Lin, Bo Zhao, Boyang Wang et al.
StepAudio 3 Gen は、ゼロショット TTS・ボイスデザイン・歌唱生成・効果音・音楽・vibe speech、さらにそれらの混合までを単一の枠組みで扱う汎用音声生成モデルである（28 upvotes）。中核には離散的な自己回帰モデルが据えられている。
新規性: 音声生成のタスク群を用途ごとの専用モデルに分けず、単一の離散自己回帰枠組みへ統合した点が中核である。TTS・音楽・効果音はそれぞれ異なる表現と学習目標で扱われてきた——だが実際の音声コンテンツはこれらが混ざった形で存在し、タスク境界をまたぐ生成は個別モデルの組み合わせでは扱いにくい。複数種の音声の混合までを同一の枠組みに含める設計は、その境界を最初から想定しないためのものである。
手法: 離散的な自己回帰モデルを基盤に、音声・歌唱・効果音・音楽とそれらの混合を単一のフレームワークで生成する。
分野別の動向
評価手法と学習データ方針
今日もっとも票を集めたのは、RLVR のデータ方針を共通の GRPO レシピ下で比較する DataFlex-RL（96 upvotes）だった。同じ「評価を評価する」方向に Benchmark Radar（75 upvotes）が並び、ベンチマークのデータセット・コード・報告スコアの設定を横断検索できる継続更新型のデータベースを提示している。arXiv 側にはこの問題意識をさらに踏み込んだ研究が複数ある。GAUGE は persona 駆動のユーザシミュレータと LLM-as-a-judge で構成されるオフライン評価ゲートを 6 プロバイダ 25 エージェントで検証し、満足度評価が実際のタスク成功とほぼ相関しない（満足と評価された会話の 57.5% がタスクに失敗）こと、そして能力が近い強いエージェント同士では判定の不一致率が 1% 未満から 31% へ跳ね上がることを示した。Can We Trust LLM Judges は絶対スコアリング設定に絞り、判定モデルのタスク精度が判定精度を強く予測する一方で、能力の高い被評価モデルほど全ての判定者から一貫して甘い評価を受ける（r ≥ 0.83）ことを報告し、誤り率をジャッジ間の不一致パターンからラベルなしで推定する重み付き多数決を提案している。評価基盤の整備と、その評価基盤自体の妥当性検証が同時に進んでいる。
LLM基盤技術
Fixed State, Long Reach は 3B のブロック拡散デノイザを Attention・Mamba・ハイブリッドの 3 系統で 300B トークン事前学習し、状態空間キャッシュだけが系列長に対して O(1) であること、256k トークンで 4.3 倍の低遅延・11 倍の省メモリになることを実測した。Breaking the Token Ceiling は蒸留の対象をトークンからバイトへ移し、1B パラメータ×1T バイト規模のスイープでバイトモデルが高 FLOP 域でトークンモデルを追い越すと外挿する。記憶の理論側では The Cost of Compression が、閉じた本での事実誤り（ハルシネーション）を被覆の問題だけでなく有限メモリによる圧縮歪みの問題として分離し、レート歪み関数を用いた誤り率の下界を証明している。Representation-based Masked Diffusion Model はマスク拡散の並列更新が相互依存を無視する点を突き、事前学習エンコーダで得た潜在表現を大域的な意味ガイドとして条件付けることで少ステップ生成の品質を改善する。
効率化
SAS（50 upvotes）はコンテキスト順位付けを end-to-end に最適化して Attention 疎化からハード Top-K を外し、X-AuT（43 upvotes）は音声 LLM のエンコーダを段階的に圧縮しながらクロススケール蒸留で脱落・早期 EOS を抑える。MoE の圧縮では ESTS の WMT26 提出が、タスク固有のルーティング質量で専門家をランク付けし、言語横断のルーティング分岐で層ごとの残存容量を配分したうえで低重要度の専門家を物理的に除去する手法を報告している。Rank-Efficient LoRA は LoRA の名目ランクと実際に使われる方向の数が一致しない点を指摘し、AdamW が特異スペクトルの集中した更新を生むのに対し Muon はランク増加の恩恵を一貫して受けることを示したうえで、誘導される重み空間の摂動に対するスペクトル降下で両因子を結合する ISO-LoRA を提案する。
エージェントと安全性
Feyospace-v1（75 upvotes）はサイバーエージェントの訓練を、モデル規模ではなく実行可能環境とマルチターン教師データの調達コストの問題として組み直した。エージェントの実行前検査では Look Before You Leap が、シェルコマンドと編集適用という二つの行動様式に対して決定的な事前検証を入れる枠組みを示し、9930 コマンド・482 ツールに対する静的検証器が偽陽性 10.0% で不正コマンドの 95.8% を捕捉すること、そして行番号ベースの編集は 1 行のずれで 99.1% のファイルを破壊する一方、内容アンカー型の search/replace や diff は「静かに失敗せず」に落ちることを定量化している。RIPPLE は、エージェントのプロンプトポリシー編集が局所的でも効果は下流へ波及し、単独では有効な編集が合成後に干渉して有害化しうるという二つの性質を分離し、リプレイで合成後の安全性を確認した編集だけを残す。自動形式化側では Beyond Solver Verdicts（33 upvotes）が、ソルバの判定が通ってしまう不忠実性を生成的報酬モデルで検証する。
マルチモーダルとロボティクス
Breaking the Vision-Action Shortcut（63 upvotes）は、視覚表現から行動を生成する学習で生じるタスク無関係な手がかりへの近道を潜在インタフェース学習で断ち、視覚分布シフト耐性を高める。音声生成では StepAudio 3 Gen（28 upvotes）が TTS・歌唱・効果音・音楽とその混合を単一の離散自己回帰枠組みに統合した。低資源言語まわりでは、大型のボイスクローニングモデルをプログラム可能なデータ源として使い短い録音から固定話者のタイ語 TTS を作る試みや、合成 OCR データの「リアルさ」が何を意味するかを分解してラベルなしでタイ語 OCR モデルを適応させる Wayu-Paxa-OCR-Zero が並んでいる。