GoogleがネイティブマルチモーダルなオープンモデルGemma 4を公開。100超のオプティマイザを統一整理するOmniOptが64 upvotesで最高注目を集め、長文脈疎注意HiLSやKVキャッシュ圧縮、可変ビット幅量子化VBQなど効率化研究が層をなした。
注目論文
Gemma 4 Technical Report
著者: Gemma Team, Sherif El Abd, Vaibhav Aggarwal et al.
GoogleによるオープンウェイトかつネイティブマルチモーダルなGemmaファミリーの新世代。dense構成とMixture-of-Experts構成を持ち、2.3Bから31Bまでのパラメータ帯をカバーする。全サイズで改良された視覚・音声エンコーダを備え、推論速度・メモリ・計算効率と長文脈能力を高めた。
新規性: 12Bモデルに、生の音声と画像パッチをそのまま取り込む統一的なエンコーダフリー設計を採用した点が新しい。加えて応答前に推論トレースを生成する思考モード（thinking mode）を統合している。
手法: dense/MoEの両アーキテクチャを用意し、視覚・音声エンコーダを刷新。STEM・マルチモーダル・長文脈のベンチマークで性能を伸ばし、人手評価タスクではより大きなフロンティア級オープンモデルに匹敵するとされる。
OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
著者: Siyuan Li, Jiabao Pan, Yumou Liu et al.
大規模モデル学習におけるオプティマイザ選択を、計算・メモリ・チューニング予算・タスク多様性に制約されたシステムレベルの設計判断として捉え直す研究（64 upvotes）。100を超える手法が乱立し断片化した現状を整理する。
新規性: 乱立する現代のオプティマイザ群を、分類（taxonomy）・幾何（geometry）・ベンチマークという3つの視点で統一的に俯瞰する「クックブック」を提示した点が貢献である。
手法: 多数の最新オプティマイザを統一的なサーベイとベンチマークの枠組みに載せ、幾何的な特徴づけと横並びの評価を通じて、状況ごとの手法選択を体系立てて支援する。
UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning
著者: Niu Lian, Alan Chen, Zhehao Yu et al.
単一プラットフォームのタスク実行から、複数プラットフォーム横断の相互作用へと進化するGUIエージェントの学習手法（62 upvotes）。高品質で実行可能なクロスプラットフォームの操作軌跡を得るのが難しいという課題に取り組む。
新規性: マルチプラットフォームのオンポリシー蒸留（on-policy distillation）を用い、GUIエージェントを継続的（continual）に学習させる枠組みを提示した点が新しい。
手法: 複数プラットフォームにわたる操作をオンポリシーで蒸留することで、実行可能な軌跡の不足を補いつつ、GUIエージェントがプラットフォームをまたいで能力を継続的に獲得できるようにする。
MANCE: Manifold Aware Concept Erasure
著者: Matan Avitan, Yoav Goldberg, Yanai Elazar
表現から目標概念を除去しつつ、それ以外の情報を保つ概念消去（concept erasure）の手法（32 upvotes）。表現は多くの相関する概念を符号化しているため、目標だけを消そうとすると他の概念まで損ないやすい。
新規性: 概念が多様体上に分布する構造を明示的に考慮する（manifold aware）ことで、消去対象と相関する周辺概念を守りながら、目標概念のみを取り除く点が貢献である。
手法: 表現の多様体構造を踏まえた概念消去を定式化し、相関の強い他概念への損傷を抑えつつ対象概念を選択的に除去する。
Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling
著者: Xiang Hu, Xinyu Wei, Hao Gu et al.
密なアテンションの二次計算コストと乏しい長さ外挿を回避する、チャンク単位の疎アテンション手法HiLS。既存のチャンク疎注意はチャンク選択が不正確で密注意に及ばなかった。
新規性: チャンク選択を言語モデリング損失の下で端到端（end-to-end）に学習し、訓練時の文脈長の64倍以上を90%の検索精度で外挿できる点が新しい。既存の密注意モデルを軽量な継続事前学習で変換することも可能。
手法: 各クエリが取得したチャンクごとに独立にアテンションを行い、その出力をチャンク検索スコアで融合する階層的な因数分解を導入。検索スコアを順伝播に組み込むことでLM損失から直接最適化し、疎なKVアクセスと計算で効率と性能のトレードオフを崩す。
KVpop — Key-Value Cache Compression with Predictive Online Pruning
著者: Lukas Hauzenberger, Niklas Schmidinger, Anamaria-Roberta Hartl et al.
自己回帰デコードの主要ボトルネックであるKVキャッシュ増大に対し、予測的なオンライン枝刈りで対処する圧縮手法（16 upvotes）。既存のKV追い出し手法は静的なヒューリスティクスやプロキシスコアに依存し、将来のトークン有用性をうまく追えず脆い追い出しを招く。
新規性: 将来のトークン有用性を予測的に追跡しながらオンラインで枝刈りを行うことで、関連性の変化に脆かった従来の静的追い出しを改善する点が貢献である。
手法: メモリと帯域が文脈長に線形にスケールする問題に対し、予測的なオンライン枝刈り（predictive online pruning）でKVキャッシュを動的に圧縮し、関連性のシフトに追随する追い出しを実現する。
Unified Audio Intelligence Without Regressing on Text Intelligence
著者: Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim et al.
音声・スピーチの理解・推論・生成を担う統合音声-テキストLLM「Audex」（Nemotron-Labs-Audex-30B-A3B）（7 upvotes）。強力なテキスト専用MoE LLMを土台に、音声知能を後付けしてもテキスト知能を損なわないことを狙う。
新規性: 音声能力を統合する際に生じがちなテキスト性能の劣化（regression）を回避し、単一の統一設計で音声・スピーチとテキストを扱える点が新しい。
手法: テキスト専用のMoE LLM（Nemotron-Cascade-2-30B-A3B）を基盤に、シンプルな統一設計で音声とテキストを一体的に扱うAudexを構築し、テキスト知能を保ったまま音声理解・生成を実現する。
LLM-as-a-Verifier: A General-Purpose Verification Framework
著者: Jacky Kwok, Shulu Li, Pranav Atreya et al.
事前学習・後訓練・テスト時計算という既存のスケーリング軸に加え、解の正しさを判定する「検証（verification）」を新たなスケーリング軸として位置づける研究（9 upvotes）。
新規性: 検証能力をLLM性能向上の独立したスケーリング軸として明示的に据え、その有効性を示す汎用検証フレームワークを提示した点が貢献である。
手法: 解の正誤判定を担う検証をスケール対象と捉え、汎用的に適用可能な検証フレームワークとして定式化することで、検証への計算投入が能力向上につながることを実証する。
dOPSD: On-Policy Self-Distillation for Diffusion Language Models
著者: Phuong Tuan Dat, Qi Li, Xinchao Wang
マスク系列を反復的にデノイズして生成する拡散大規模言語モデル（dLLM）の後訓練を、オンポリシー自己蒸留で強化する手法（14 upvotes）。教師あり微調整はオフポリシーで露出バイアスに悩まされ、強い推論を引き出しにくい。
新規性: オフポリシーな教師あり微調整の露出バイアスを避け、オンポリシーな自己蒸留（self-distillation）によって拡散LLMの推論能力を引き出す点が新しい。
手法: 自己回帰モデルに対する並列的な代替である拡散LLMに対し、モデル自身のオンポリシー生成を用いた自己蒸留を設計し、後訓練での強い推論の獲得を狙う。
Variable Bit-width Quantization: Learning Per-Group Precision for Bigger-but-Smaller Language Models
著者: Hamish Ogilvy
精度を単一のグローバルなハイパーパラメータとして扱い全重みに同じビット幅を与える従来の低ビット量子化を見直し、重みグループごとに解像度を学習する可変ビット幅量子化（VBQ）。
新規性: 連続する64重みのグループごとに{1,2,4,8}ビットから自身の解像度をGumbel-Softmax緩和で学習し、層内でも強く不均一な精度配分を発見できる点が貢献である。69%のグループが1ビットに収束し、LMヘッドは平均1.09ビット、最初のMLPブロックは約2.5ビットを保つ。
手法: 交互最適化により精度ロジットへタスク整合した信号を与え、学習時に各グループの精度を割り当てる。発見された配分は固定レシピとして凍結・再利用でき、パック済み低ビット格納に直結して推論も加速する（品質/バイト比でFP16比3.9〜8.4倍効率的）。
分野別の動向
オープンモデルと基盤モデル
本日はGoogleのGemma 4 Technical Reportが公開され、dense/MoEの2.3B〜31Bという幅広い帯域と、生の音声・画像パッチを取り込むエンコーダフリー12B、思考モードの統合が注目を集めた。オープンウェイトのマルチモーダル基盤が、より大きなフロンティア級モデルに人手評価で迫るという主張は、公開モデルの実用水準の底上げを示している。統合音声-テキストLLMのAudex（7 upvotes）も、テキスト知能を損なわずにモダリティを拡張する方向として同じ潮流に位置づく。
効率化・長文脈・量子化
推論効率の追求が引き続き厚い層を成した。HiLS（Hierarchical Sparse Attention）はチャンク選択をLM損失で端到端学習し、訓練長の64倍超を90%精度で外挿する疎注意を提示。KVpop（16 upvotes）は将来トークン有用性を予測的に追跡するKVキャッシュ圧縮を、VBQは64重みグループごとに精度を学習する可変ビット幅量子化を示した。長文脈化とメモリ削減という二つの制約に、アテンション・キャッシュ・量子化の各層から手が入っている。
最適化と学習手法
学習を支える基礎技術の整理・刷新も目立った。最高注目のOmniOpt（64 upvotes）は100超のオプティマイザを分類・幾何・ベンチマークで統一的に俯瞰し、乱立する手法選択をシステムレベルの設計判断として捉え直す。dOPSD（14 upvotes）はオンポリシー自己蒸留で拡散LLMの後訓練を強化し、LLM-as-a-Verifier（9 upvotes）は検証を新たなスケーリング軸に据える。「何をどう最適化・検証するか」という設計そのものが競争軸として浮上している。
エージェントと安全性
応用面ではGUIエージェントと概念制御が並んだ。UI-MOPD（62 upvotes）はマルチプラットフォームのオンポリシー蒸留で継続的なGUIエージェント学習を可能にし、クロスプラットフォーム軌跡の不足を補う。MANCE（32 upvotes）は多様体構造を考慮した概念消去で、相関する周辺概念を守りつつ対象概念のみを除去する。エージェントの汎用化と、表現からの安全な概念制御が、実運用に向けた課題として焦点になっている。