ロボット制御の世界モデルが上位を占め、システム構成を変数化して汎化を狙う研究や物理強化シミュレータが並んだ。LLMの潜在思考表現を4公理で問う評価論、拡散モデルのRL後処理、語彙圧縮や長文推論のKVキャッシュ圧縮など効率化も厚い。
注目論文
In-Context World Modeling for Robotic Control
著者: Siyin Wang, Junhao Shi, Senyu Fei et al.
Vision-Language-Action（VLA）モデルは、現在の観測と言語指示のみに条件付けられるため、カメラ視点の変更やロボット形態の違いといった新規セットアップへの汎化に失敗しやすい（57 upvotes）。システム構成という変数を無視している点が根本原因だと指摘する。
新規性: ロボットの観測戦略やシステム構成を文脈として明示的に与え、新規視点・新規ロボット形態への汎化を実現した点が貢献である。
手法: 現在の観測だけでなくシステム構成を変数として扱う in-context な世界モデリングを導入し、推論時に構成情報を文脈として与えることで、未知のセットアップでも一貫した制御を可能にする。
PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation
著者: Peiwen Zhang, Yufan Deng, Shangkun Sun et al.
動画生成モデルは身体性のある世界シミュレーションの有望なパラダイムとして登場したが、汎用動画生成器もロボット特化のファインチューニング済みモデルも、不連続な運動軌道や一貫性を欠くロボット動作など、物理的に妥当でない操作を生成しうる（39 upvotes）。
新規性: 物理的制約をシミュレータに強化的に組み込み、ロボット操作の世界シミュレータが生む非物理的な動作・軌道を抑制した点が貢献である。
手法: 動画生成ベースの世界シミュレータに物理を強化する仕組みを導入し、不連続な軌道や非一貫な動作を抑えることで、ロボット操作における物理的に妥当なロールアウトを生成する。
Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs
著者: Fahd Seddik, Fatemeh Fard
LLMの潜在思考表現を、下流ベンチマークのスコアに依存しない指標で評価する公理的フレームワークを提案する（36 upvotes）。既存評価は表現の質とモデルの処理能力を混同しており、失敗を表現自体に帰属できないと論じる。
新規性: 因果性・最小性・分離性・安定性という4つの機能的公理を定式化し、それぞれに下流精度から独立した定量指標を与えた点が新しい。23の推論タスクで監査した結果、4公理を同時に満たすモデルは皆無だった。
手法: 各公理を表現上で直接計算できる量として定義し、オープンウェイトLLMを横断的に監査する。表現はタスク種別を区別できるが同一タスク内の2問を区別できず、入力埋め込み以上の情報をほとんど符号化していないことを示し、この欠陥がモデル規模や学習手順によらず構造的であると結論づける。
Qwen-Image-2.0-RL Technical Report
著者: Yixian Xu, Kaiyuan Gao, Yuxiang Chen et al.
拡散モデル Qwen-Image-2.0 の視覚品質と指示追従能力を同時に改善する後処理パイプラインを提示する（27 upvotes）。人間フィードバックからの強化学習（RLHF）とオンポリシー蒸留（OPD）を組み合わせる。
新規性: RLHFとオンポリシー蒸留を拡散モデルの後処理に統合し、画質と指示追従を同時に高めた点が貢献である。信頼できる報酬信号の設計に踏み込んでいる。
手法: 拡散モデルに対しRLHFとOPDを適用し、信頼性ある報酬信号を用いて視覚品質と指示追従能力を共同最適化することで、生成画像の質と指示への忠実さを両立させる。
MultiHashFormer: Hash-based Generative Language Models
著者: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras
言語モデルはトークンを語彙サイズに比例して線形に増大する埋め込み行列で表現する（16 upvotes）。パラメータ量を抑えるため、先行研究は多くのトークンを単一ベクトルにハッシュする手法を提案してきたが、これはエンコーダ専用モデルに限られ、多対一の衝突という課題を抱えていた。
新規性: ハッシュベースの語彙圧縮を生成言語モデルへ拡張し、多対一衝突の課題に対処した点が新しい。
手法: 複数のハッシュを用いてトークン埋め込みを圧縮しつつ、単一ハッシュでの衝突を緩和する仕組みを生成LMに導入し、パラメータ効率と生成性能の両立を図る。
LISA: Likelihood Score Alignment for Visual-condition Controllable Generation
著者: Yanghao Wang, Hongxu Chen, Jiazhen Liu et al.
視覚条件付き生成では、視覚条件を符号化するサイドネットワークを学習し、その中間層特徴を凍結済みの事前学習メインネットワークに融合する二分岐パラダイムが広く成功してきた（13 upvotes）。だが、サイドネットワークが果たす役割は十分に解明されていない。
新規性: サイドネット融合の役割を尤度スコア整合（likelihood score alignment）の観点から再検討し、視覚条件付き可制御生成の仕組みを明らかにした点が貢献である。
手法: サイドネットワークの中間層特徴を尤度スコアの整合として捉え直し、視覚条件をメインネットワークに反映させる過程を分析・改善することで、より制御性の高い生成を実現する。
Discretizing Reward Models
著者: Vijay Viswanathan, Shiqi Wang, Devamanyu Hazarika et al.
報酬モデルは広く使われているにもかかわらず、強化学習を形作る役割は十分に理解されていない（12 upvotes）。報酬モデルは検証器や人間判定がない状況で応答品質を自動推定するという魅力的な約束を持つが、二値の「検証可能な報酬」とは性質が異なる。
新規性: 報酬モデルを離散化するという視点から、RLにおける報酬信号の役割と設計を見直した点が貢献である。
手法: 連続的な報酬スコアを離散化したうえで強化学習に与え、報酬モデルが学習に及ぼす影響を分析することで、報酬信号の設計が方策学習をどう形作るかを明らかにする。
Information-Aware KV Cache Compression for Long Reasoning
著者: Jushi Kai, Zhuiri Xiao, Alexandra Birch et al.
LLMの推論能力が急速に高度化するにつれ、プレフィル・デコードの両段階でキーバリュー（KV）キャッシュが肥大化している（10 upvotes）。既存のKVキャッシュ圧縮手法は主に注意重みでトークンの重要度を推定するが、注意重みは情報量を十分に捉えきれない。
新規性: 注意重みではなく情報量を基準にKVキャッシュを圧縮することで、長い推論における肥大化に対処した点が新しい。
手法: 注意重みに依存する従来の重要度推定を見直し、各トークンの情報量を基準にKVキャッシュを選択的に圧縮することで、長文推論時のメモリ効率を高めつつ性能を維持する。
Hallucination in World Models is Predictable and Preventable
著者: Nicklas Hansen, Xiaolong Wang
現代の生成的世界モデルは行動で制御可能な未来を写実的にレンダリングできるが、しばしば幻覚を起こす（8 upvotes）。ロールアウトは視覚的には流暢なまま、真の力学から逸脱していく。
新規性: 世界モデルの幻覚が状態行動空間の低被覆領域に集中することを示し、それが予測可能かつ防止可能であると明らかにした点が貢献である。
手法: 幻覚が状態行動空間のどこで生じやすいかを被覆度の観点から分析し、低被覆領域での逸脱を事前に予測・抑制する枠組みを示すことで、世界モデルのロールアウトの信頼性を高める。
The Context-Ready Transformer
著者: Mahesh Godavarti
各トークンをブロックに入る前に事前文脈化する、D層Transformerブロックから構成された新しい再帰型ニューラルネットワークアーキテクチャを導入する（arXiv cs.CL）。左から右への生成時に、補正ネットワークが前位置のブロック出力（過去文脈のキャッシュ要約）と現トークン埋め込みを結合し、トークンが生の埋め込みではなく文脈化済みの状態でブロックに入る。
新規性: トークンを事前文脈化することで、逐次推論時にはRNNとして振る舞い、訓練時には補正過程をK回展開して全位置を並列処理できる新アーキを提示した点が新しい。事前学習済みTransformerもゼロ初期化の補正FFNを加えて変換できる。
手法: 補正連鎖により逐次推論時はRNNとなり、訓練時は補正過程をK回展開して並列処理する。D=5モデルは12層Transformerを上回りA100上で1.7倍高速、K=10では単層モデル（D=1）が6層Transformerを2.6倍の高速化で上回る。
分野別の動向
世界モデルとロボット制御
本日はロボット制御を支える世界モデルが上位を占めた。In-Context World Modeling（57 upvotes）はシステム構成を変数として文脈に与え新規視点・形態への汎化を狙い、PhysisForcing（39 upvotes）は物理強化で操作シミュレータの非物理的な動作を抑える。さらに Hallucination in World Models（8 upvotes）は世界モデルの幻覚が低被覆領域に集中し予測・防止可能だと示しており、写実性だけでなく力学的な忠実さと汎化を問う研究へと関心が移っている。
推論表現と報酬の問い直し
LLMの内部表現と学習信号を根本から問う研究が並んだ。Formalizing Latent Thoughts（36 upvotes）は潜在思考表現を4公理で評価し、ベンチマーク精度が覆い隠す構造的な表現の欠陥を露わにする。Discretizing Reward Models（12 upvotes）は報酬モデルを離散化してRLにおける報酬信号の役割を見直す。前回の「報酬・検証という学習信号の質」への関心を、表現と報酬の両面から掘り下げる流れが続いている。
効率化とアーキテクチャ
推論効率とアーキテクチャの基盤を磨く研究も厚い。The Context-Ready Transformer はトークンを事前文脈化する新RNN型アーキで、少ない層数でTransformerを上回る速度と精度を示す。Information-Aware KV Cache Compression（10 upvotes）は長文推論で肥大化するKVキャッシュを情報量基準で圧縮し、MultiHashFormer（16 upvotes）はハッシュで語彙埋め込みを圧縮する。長文・大語彙という実運用の制約に効く効率化が着実に進んでいる。
マルチモーダル生成と可制御性
拡散モデルや視覚条件付き生成の改善も目立った。Qwen-Image-2.0-RL（27 upvotes）はRLHFとオンポリシー蒸留で拡散モデルの画質と指示追従を同時に高め、LISA（13 upvotes）は視覚条件付き生成のサイドネット融合の役割を尤度スコア整合の観点から再検討する。生成品質と制御性の両立に向け、後処理と融合機構の理解が深まりつつある。