Googleが2.3B〜31BのオープンウェイトLLM群Gemma 4を公開。構造-物性の機構推論が71 upvotesで首位に立ち、階層疎注意による無限文脈、VLAの二重潜在メモリ、線形RNNの疎状態拡張など基盤技術の研究が層をなした。
注目論文
Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning
著者: Chen Tang, Yizhou Wang, Jianyu Wu et al.
生物・化学・材料科学の基盤となる構造-物性関係を、構造的証拠から機構的に説明する「深層ネイティブ構造推論」を提示する研究（本日最高の71 upvotes）。機能・反応性・物性が空間的・化学的・周期的な組織からどう生じるかを解釈することを目指す。
新規性: 分野横断的で透明性の高い構造-物性理解を、構造を直接扱うネイティブな推論として定式化した点が貢献である。
手法: 構造的証拠を科学的観点から解釈し、複数分野にまたがる構造-物性関係の機構的説明を統一的に行う深層推論フレームワークを構築する。
Gemma 4 Technical Report
著者: Gemma Team, Sherif El Abd, Vaibhav Aggarwal et al.
Googleが公開した新世代のオープンウェイト・ネイティブマルチモーダルLLM群。2.3B〜31Bのパラメータ帯で、dense構成とMixture-of-Experts構成の両方をラインナップし、計算効率と推論能力の強化を狙う（38 upvotes）。
新規性: オープンウェイトかつネイティブマルチモーダルで、denseとMoEの両アーキテクチャを揃えた新世代のGemmaファミリーを提示した点が特徴である。
手法: 計算効率と推論を重視した設計のもと、2.3Bから31Bまでのモデルスイートを構築し、denseとMoEを併用してコンパクトなマルチモーダルLLM群を実現する。
Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling
著者: Xiang Hu, Xinyu Wei, Hao Gu et al.
長文脈へのスケーリングは、密注意の二次計算コストと長さ外挿の弱さに阻まれる。チャンク単位の疎注意は有望な代替だが、既存手法はチャンク選択の不正確さから密注意に及ばない（55 upvotes）。
新規性: チャンク単位疎注意の不正確さを解消し、無限文脈モデリングに向かう階層的な疎注意を「正しく」設計した点が貢献である。
手法: 階層的な疎注意によってチャンク選択の精度を高め、密注意に匹敵する性能を保ちつつ長さ外挿と計算効率を両立させる。
Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation
著者: Hongyu Qu, Jianzhe Gao, Xiaobin Hu et al.
主流のVision-Language-Action（VLA）モデルはマルコフ仮定のもと現在の観測から行動を予測するため、長期・時間依存タスクで苦戦する。既存のメモリ拡張VLAは観測窓を広げるか履歴を検索するに留まる（44 upvotes）。
新規性: VLAに「二重潜在メモリ（dual latent memory）」を導入し、長時間かつ時間的依存を持つタスクへの対応力を高めた点が貢献である。
手法: 二つの潜在メモリ機構を組み合わせて履歴情報を保持・活用することで、マルコフ的な単一観測の限界を超え、長期依存のロボット操作を強化する。
Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
著者: Shuailei Ma, Jiaqi Liao, Xinyang Wang et al.
動画生成モデルはコンテンツ制作を主眼とするため、視覚的忠実度や創造性を優先し、計算効率や物理的リアリズムを軽視する傾向がある。この設計上のドメイン不一致がロボット制御への転用を妨げる（39 upvotes）。
新規性: 身体性AI向けにMixture-of-Experts（MoE）を用いた動画事前学習をスケールさせ、物理的リアリズムと計算効率の両立を図った点が新しい。
手法: MoEアーキテクチャで動画事前学習を大規模化し、コンテンツ制作向けの設計から生じるドメインギャップを埋めて、身体性知能に適した表現を獲得する。
LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL
著者: Yujin Kim, Namgyu Ho, Sangmin Hwang et al.
検証不能な指示追従に対する強化学習（RL）は、プロンプト固有のルーブリックを持つLLM審判を報酬信号として依存する。近年の手法はルーブリックをポリシーの進化に合わせて適応させるが、学習プロンプト自体は固定コーパスから引かれたまま静的に留まっていた（20 upvotes）。
新規性: 学習プロンプトそのものをポリシーに合わせて適応的に更新する「LLM-as-a-Tutor」を提示し、検証不能なRLでルーブリックだけでなくプロンプトも動的に変える点が貢献である。
手法: ポリシー適応的にプロンプトを更新するチューター的なLLMを導入し、進化するポリシーに応じて学習プロンプトを再構成することで、非検証型の指示追従RLを改善する。
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
著者: Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy et al.
線形注意モデルは固定サイズの状態とトークンあたり一定の計算量を許すが、状態サイズが限られるため、softmax注意ベースのTransformerに比べて長文脈リコールで劣る。状態サイズの拡大が課題となっていた（Meta等）。
新規性: 疎性（sparsity）を用いて線形RNNの状態サイズを拡張し、線形注意が抱える長文脈リコール劣化を克服する点が新しい。
手法: Sparse Delta Memoryにより状態を疎に拡張し、計算量を抑えつつ有効な状態サイズを増やすことで、線形RNNの長文脈想起能力を高める。
Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
著者: Zhenyu Hou, Yujiang Li, Jie Tang et al.
RLはLLMのポスト学習で重要性を増すが、従来のLLM向けRLパイプラインは同期的かつバッチインターリーブ型で、長期エージェントタスクには非効率だった。非同期RLはより効率的な代替として台頭している（清華/Zhipu系）。
新規性: 長期エージェントタスク向けに、単一ロールアウト（single-rollout）で動く非同期RL最適化を提示した点が貢献である。
手法: 同期・バッチインターリーブ型の制約を解き、単一ロールアウトの非同期最適化によって、長期ホライズンなエージェント型RLの学習効率を高める。
Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training
著者: Zijian Zhang, Rizhen Hu, Athanasios Glentis et al.
RLはLLMのポスト学習の中核となったが、RL適応がTransformerの各層にどう分布するかはほとんど理解されていない。既存手法は全パラメータを一様に更新し、すべての層が等しく重要と暗黙に仮定してきた（3 upvotes）。
新規性: 単一のTransformer層だけをRL学習すれば全パラメータ更新に匹敵しうることを示し、RL適応の層ごとの分布を分析した点が貢献である。
手法: RLによる適応がどの層に集中するかを解析し、単層のみの更新でフルパラメータRL学習に匹敵する性能が得られることを実証する。
HunyuanOCR-1.5: Making Lightweight OCR VLMs Faster and Better
著者: Gengluo Li, Xingyu Wan, Shangpin Peng et al.
文書解析・テキスト検出・情報抽出・画像内テキスト翻訳・複数画像の文書理解を、単一のエンドツーエンドVLMで統合する軽量OCR特化モデル（5 upvotes）。
新規性: 軽量アーキテクチャを維持しつつ、OCR系の多様なタスクを一つのエンドツーエンドVLMで統合し、速度と精度の両面を改善した点が新しい。
手法: 軽量な構成の上に文書パース・テキストスポッティング・情報抽出・翻訳・複数画像理解を統合し、OCR特化VLMとして高速化と高精度化を同時に実現する。
分野別の動向
長文脈・状態拡張の基盤技術
長い系列を効率的に扱う基盤研究が厚みを増している。Hierarchical Sparse Attention（55 upvotes）はチャンク疎注意の選択精度を高めて無限文脈へ向かい、Sparse Delta Memoryは疎性で線形RNNの状態サイズを拡張して長文脈リコール劣化を克服する。密注意の二次コストと線形注意の状態制約という両極の弱点を、いずれも疎性で緩和しようとする点が共通する。arXiv側でもTF-EngramやTriRoute、投機的デコードのDeLS-Specなど、注意・メモリ・計算配分を見直す研究が並んだ。
身体性AIとVLAのメモリ
ロボット操作・身体性知能では、時間依存を扱うメモリと動画事前学習が焦点となった。Dual Latent Memory in VLA（44 upvotes）は二重潜在メモリでマルコフ仮定の限界を超え、長期タスクへの対応力を高める。Scaling MoE Video Pretraining（39 upvotes）は身体性向けにMoE動画事前学習をスケールし、物理的リアリズムと効率を両立させる。単一観測からの反応的な行動予測から、履歴と物理を織り込んだ表現学習へと軸が移りつつある。
ポスト学習RLの効率化
RLによるポスト学習でも、無駄を削る方向の研究が目立った。Single-Rollout Asynchronous Optimization（清華/Zhipu系）は長期エージェントタスク向けに単一ロールアウトの非同期最適化を提示し、Is One Layer Enough?（3 upvotes）は単一Transformer層のRL学習で全パラメータ更新に匹敵しうることを示す。LLM-as-a-Tutor（20 upvotes）は検証不能なRLで学習プロンプト自体を適応的に更新する。同期・全パラメータ・静的プロンプトという既存の前提を、一つずつ解きほぐす流れが見える。
オープンウェイトとマルチモーダル基盤
基盤モデルの公開も続く。Gemma 4（38 upvotes）は2.3B〜31Bのdense/MoEを揃えたネイティブマルチモーダルのオープンウェイト群で、計算効率と推論を強化する。HunyuanOCR-1.5（5 upvotes）は文書解析・OCR・情報抽出・翻訳を単一の軽量VLMに統合する。汎用の大規模モデルと、用途特化の軽量VLMという二方向で、オープンな実装が層をなしている。