動画生成モデルに物体の永続性が宿るかを問う Training Object Permanence が203 upvotesで突出し、LLMが二つのテキストストリームの次トークン分布を重ね合わせるという線形性の実証が続いた。解釈可能性と世界モデルが同じ日に「内部に何が成立しているか」を別々の側から突いている。
注目論文
Training Object Permanence in World Models
著者: Haotian Zhang, Fengyuan Yu, Dezhi Luo et al.
物体の永続性と固体性は、人間の認知プリオ（cognitive prior）を代表する性質である（203 upvotes）。近年の研究は、現在の世界モデルの典型例である動画生成モデルに推論能力が創発しはじめていることを示しており、人間に似た物理的知能を構築する候補として有望だと本研究は述べる。そのうえで、動画モデルが実際に物体の永続性を備えているのかを問う。
新規性: 世界モデルの評価軸を生成品質や下流タスクの成功率ではなく、発達心理学が同定した個別の認知プリオへ据え直した点が中核である。動画生成モデルの物理理解の検証は、破綻の有無や物理法則に沿った見た目かどうかで進むのが通例である——だが「もっともらしく見える映像」は、遮蔽された物体が存在し続けるという前提を内部に持たなくても作れてしまう。永続性と固体性を名指しで切り出す構成は、その前提が成立しているかを個別に測り、さらに訓練の対象にするためのものである。
手法: 動画生成モデルに対して物体の永続性・固体性が創発しているかを検証し、それらを訓練によって獲得させる方向を扱う。
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
著者: Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk et al.
LLMは高度に非線形な構成要素に依存しているが、本研究はそこに根本的な線形性が現れることを示す（75 upvotes）。異なるテキストストリームからの入力を線形に結合して与えると、モデルの出力は個々の入力に対する次トークン分布の重ね合わせ（superposition）になるという。
新規性: 非線形なネットワークの入出力関係そのものに、成分ごとの加法性が残っていることを実証した点が中核である。LLMの内部理解は、個々の特徴やニューロンの役割を同定する形で進むのが通例である——だがそれは表現の内訳を読む作業であり、モデル全体が入力の重ね合わせに対してどう振る舞うかは別の問いである。二つのストリームを混ぜて出力分布を観察する構成は、その全体としての線形性を直接測るためのものである。
手法: 異なるテキストストリームの入力を線形結合し、出力される次トークン分布が個別分布の重ね合わせとなることを示す。
WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation
著者: Yubo Zhu, Yawen Shao, Ziyun Dai et al.
映像生成はテキスト空間で映画的な脚本を書くところから始まり、その後ピクセルへと具体化されると本研究は整理する（36 upvotes）。現代の映像生成器が30秒級へ伸び、複雑な条件にも忠実に従うようになるにつれて、動作・カメラ軌道・照明をどう計画するかという制作の指揮をテキストのプロンプトが大きく担うようになっている。
新規性: プロンプトの書き換えを言い換えや詳細追加ではなく、映像制作の演出設計として位置づけた点が中核である。テキストから映像への品質改善は、生成モデル側の忠実度やスケールを上げる形で進むのが通例である——だが尺が伸び条件追従が効くようになるほど、出力を決めるのは指示の側の情報量になり、素朴な一文では30秒分の演出を指定しきれない。シネマティックなプロンプト強化という構成は、その計画部分を明示的な処理として切り出すためのものである。
手法: 動作・カメラ軌道・照明といった演出要素を計画するプロンプト強化を、現代の長尺テキスト・トゥ・ビデオ生成向けに構成する。
OmniEcho: Spatial Audio Understanding for Embodied Agents
著者: Ruixun Liu, Yuxuan Wang, Jiacheng Xie et al.
人間は音源の方向を苦もなく定位し、それを視覚手がかりと統合して推論できるが、身体性エージェントにとってこれは依然として難しいと本研究は述べる（22 upvotes）。とりわけ、身体性のある設定で空間音響理解をどう評価しモデル化すべきかが明確でない点を問題として挙げる。
新規性: 音声理解を認識タスクとしてではなく、空間内での定位と視覚との統合として枠付けた点が中核である。マルチモーダルモデルの音声対応は、発話認識や音響イベント分類といった内容理解の側から進むのが通例である——だが環境内を動く主体にとって重要なのは「何の音か」に加えて「どこから鳴っているか」であり、モノラル的な内容理解ではその方向情報が最初から落ちている。空間音響を評価軸に立てる構成は、身体性の文脈で欠けている次元を測るためのものである。
手法: 身体性設定における空間音響理解の評価と、音源方向の定位を視覚手がかりと統合するモデル化を扱う。
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
著者: Shuang Sun, Guoxin Chen, Fanzhe Meng et al.
LLMの進展により、エージェントは多様な環境で長期タスクに取り組めるようになった（19 upvotes）。性能をさらに高めるため、既存の言語世界モデルは環境の観測を予測する形を取るのが通例だが、高エントロピーかつ実行依存のツール実行結果を再構成しようとする点に難しさがあると本研究は指摘する。
新規性: 世界モデルの出力を観測の生成から、既存の状態に対する編集へ置き換えた点が中核である。LLMエージェントの世界モデルは、次に何が観測されるかを丸ごと予測する形で進むのが通例である——だがツール実行の戻り値は実行環境に強く依存し、文字列として細部まで当てることには意味がないうえ、エントロピーが高すぎて学習信号にならない。編集として定式化する構成は、予測すべき対象を変化分に絞るためのものである。
手法: 環境観測の直接予測に代えて、エージェントによる編集としての世界モデリングを導入し、高エントロピーなツール実行結果の再構成を避ける。
Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models
著者: Xiaoyu Luo, Tao Ren, Wenrui Yu et al.
フロンティアモデルの急速な能力向上は推論能力の改善に帰されるのが通例だが、閉源システムでは生のCoTトレースが隠されているため、それを検証できないと本研究は指摘する（15 upvotes）。標準的なAPI機能である独自ツールの登録を通じて、フロンティアモデルに推論過程を外在化させる。
新規性: 隠れた推論過程の観測手段を、モデル内部へのアクセスや出力の推測ではなく、公開APIの正規機能に求めた点が中核である。閉源モデルの推論研究は、最終出力や要約されたCoTから逆算する形で進むのが通例である——だが要約は提供者側の処理を経ており、能力向上の要因を推論に帰す主張を裏づける証拠にはならない。ツール登録によって中間過程を出力させる構成は、検証可能な形でトレースを手元に得るためのものである。
手法: 標準APIのカスタムツール登録機能を用いてフロンティアモデルに推論過程を外在化させ、得られたCoTを抽出・特徴づける。
GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
著者: Baher Mohammad, Ammar Ali, Stamatios Lefkimmiatis
Transformerのアーキテクチャは層をまたいだ冗長性を示すが、訓練後の圧縮パイプラインは層を単独で最適化するか、層ごとの活性化の幾何を無視したヒューリスティックなグループ化に頼るのが通例だと本研究は指摘する（13 upvotes）。
新規性: 圧縮の単位を単層から層の組へ移しつつ、各層の活性化分布の幾何を保存の対象に据えた点が中核である。訓練後圧縮は、重み行列を層ごとに低ランク近似したり量子化したりする形で進むのが通例である——だが層間に冗長性がある以上、単層ごとの最適解の寄せ集めは全体として最適ではなく、かといって恣意的に層をまとめれば層固有の活性化の広がりが壊れる。幾何を保存する層横断分解という構成は、その両方を同時に扱うためのものである。
手法: 層ごとの活性化幾何を保存しながら層をまたいで逐次的に分解する、訓練不要の圧縮枠組みを構成する。
Hunyuan-A13B Technical Report
著者: Tencent Hunyuan Team, Ao Liu, Botong Zhou et al.
Hunyuan-A13B は Mixture-of-Experts アーキテクチャに基づくオープンソースの大規模言語モデルである（10 upvotes）。総パラメータ800億に対し推論時に活性化するのは130億で、モデルの能力・計算効率・デプロイコストのバランスを取る設計となっている。
新規性: 80B総パラメータに対し13B活性という比率で、オープンな重みとともに技術報告を公開した点に意味がある。大規模モデルの効率化は、密なモデルを蒸留・量子化して小さくする形で進むのが通例である——だが活性パラメータを絞るMoEは、同じ推論コストで保持できる知識量そのものを変える。総量と活性量を分けて設計し、その事前学習過程まで記述する構成は、コスト当たりの能力という軸で追試できるようにするためのものである。
手法: 総パラメータ80B・推論時活性13BのMoEモデルを構築し、事前学習のデータ構成を含めて技術報告として公開する。
Parts-of-Speech as Emergent Categories in SAE Latent Space
著者: Alessandro Bondielli, Lucia Passaro, Serena Auriemma, Alessandro Lenci
スパースオートエンコーダ（SAE）は言語モデルの表現を検査する有望な手段だが、その潜在変数がどのような言語構造を露出させているのかは依然として不明だと本研究は述べる（10 upvotes）。品詞（PoS）カテゴリを統制された検証事例として用い、形態統語的な情報が個々の潜在にどう符号化されているかを調べる。
新規性: SAE潜在の解釈に、言語学が確立済みの分類体系を対照群として持ち込んだ点が中核である。SAEの評価は、見つかった潜在に人間が事後的に説明ラベルを与える形で進むのが通例である——だがその手続きでは、潜在が本当にまとまった概念に対応しているのか、説明する側が意味を読み込んでいるのかを切り分けられない。品詞という外在的に定義済みのカテゴリを使う構成は、正解が先にある状態で符号化のされ方を測るためのものである。
手法: 品詞カテゴリを統制事例として、SAE潜在が形態統語情報を個別に符号化しているかを検証する。
IterSynth: Rethinking Deep Search Agents via Role-Decoupled Iterative Synthesis
著者: Xingyu Wu, Yuchen Yan, Zhengxi Lu et al.
深い探索（deep search）では、LLMエージェントが複雑なクエリを分解し、証拠を検索し、根拠のある回答を統合する必要がある（9 upvotes）。しかし既存のReAct型エージェントには二つの限界があると本研究は指摘する。一つの方策が計画・証拠利用・統合をすべて担う役割の結合と、文脈が膨らみ続ける蓄積の問題である。
新規性: 探索エージェントの性能限界を推論能力ではなく、単一方策への役割集中と文脈の単調増加として特定した点が中核である。深い探索の改善は、ReActループの推論品質やツール呼び出しの精度を上げる形で進むのが通例である——だが計画と統合を同じ文脈で回す限り、探索が進むほど文脈は伸び、後段の統合はノイズの中で行われる。役割を分離して反復的に統合する構成は、その二つを独立に切るためのものである。
手法: 計画・証拠利用・統合の役割を分離し、反復的な合成（iterative synthesis）によって文脈蓄積を抑える探索エージェントを構成する。
分野別の動向
解釈可能性：内部に何が線形に並んでいるか
上位に解釈可能性の研究が並んだ。Your Transformer Can Hold Two Thoughts at Once（75 upvotes）は、非線形な構成要素に依存するはずのLLMが、入力の線形結合に対して出力分布の重ね合わせを返すという全体としての線形性を示す。Parts-of-Speech as Emergent Categories（10 upvotes）はSAE潜在の解釈に品詞という外在的な正解を持ち込み、The Linear Representation Hypothesis Needs a Group Action（3 upvotes）は、そもそも二つの表現がいつ等価とみなされるべきかを明示しないまま線形表現仮説が議論されていると指摘する。観測された線形性と、線形性を主張するための枠組みの整備が同じ日に並んだ。Capable yet Parsimonious（15 upvotes）はこれらと別筋で、閉源モデルの隠れたCoTを標準API機能経由で外在化させ、能力向上を推論に帰す主張の検証手段を作りにいく。
世界モデル：認知プリオの検証から行動へ
Training Object Permanence in World Models（203 upvotes）が突出した。動画生成モデルを世界モデルの代表例と位置づけたうえで、物体の永続性と固体性という人間の認知プリオが実際に備わっているかを検証し、訓練の対象に据える。行動側では World Action Agent（7 upvotes）が、VLMを制約予測やプログラム生成に間接利用するのではなく「行動できる世界」を与える方向を採り、DeltaWAM（4 upvotes）は既存の world-action model が訓練中に密な将来フレームを予測して大半変わらない内容を繰り返しモデル化している点を差分（delta）で削る。MemBodied（11 upvotes）は Vision-Language-Action モデルの多くが現在の観測を超えたエピソード単位の情報を保持していないと指摘する。世界を「見せる」から「その中で行動させる」への移行が、評価・訓練・記憶の各層で同時に進んでいる。
マルチモーダル生成：映像と他モダリティの非対称性
WanPE（36 upvotes）は、30秒級へ伸びた映像生成では出力を決める重心がテキスト側の演出設計に移ると述べ、プロンプト強化を制作工程として切り出す。All modalities are equal, but video is more equal（8 upvotes）は、同じ物理的事象を扱っていても映像が外観・幾何・運動・時間発展を同時に担う一方、3D身体動作や音声はその一部しか符号化しないという非対称性が、結合マルチモーダル拡散Transformerのクロスアテンションにそのまま現れることを見出す。OmniEcho（22 upvotes）は逆側から、身体性エージェントに欠けている音の方向情報を評価軸として立てる。表現の側では On the Diffusibility of High-Dimensional Latents（7 upvotes）が、既製の視覚エンコーダは忠実な再構成向けに最適化されておらず細部を捨てていると指摘し、ViRDM（3 upvotes）は少ステップ自己回帰映像生成が分布マッチング蒸留に依存して大きな教師とオンライン批評器を要する構造から抜けようとする。
エージェント：役割の分離と信頼境界
IterSynth（9 upvotes）は深い探索の限界を役割結合と文脈蓄積として切り分け、Agent-Editing World Model（19 upvotes）はツール実行結果の予測を編集として定式化し直す。いずれも、単一方策が全工程を抱える設計をほどく方向にある。AgentKernel（7 upvotes）はこれを安全性の側から扱い、現代のエージェントが信頼境界を日常的に越えている——非信頼のコンテンツを取り込み、特権的な指示と混ぜ、中間的な信念を長期記憶に残し、特権ツールを呼ぶ——という攻撃面の構造を整理して、trust-native なエージェントOSを提案する。応用側では Coding Agents for Generalized TAMP（11 upvotes）と PackLab（11 upvotes）が、離散判断と幾何・運動学的制約が密結合した計画問題にコーディングエージェントやMLLMを当てている。
効率化と評価の足場
GeoPair（13 upvotes）は層横断の冗長性を活性化幾何を保存したまま畳む訓練不要の圧縮を示し、Hunyuan-A13B（10 upvotes）は総80B・活性13BのMoEとして推論コスト当たりの能力を設計する。評価の足場づくりも目立つ。Calibration as a First-Class Criterion（2 upvotes）は、較正の測定手法は既に存在するのに専門分野の外では採用されないという問題を「手法不足ではなく採用の問題」として名指しする。Just Ask Jev（7 upvotes）は、アラインメント失敗の検出器が基準ごとにデコードパスを費やす生成型の判定器か、呼び出しごとに固定ラベル1件しか出せない分類器かに二分されている現状を突く。StudentBench（3 upvotes）はAIと人間の個別指導がGREの学習到達度で同等という結果を、公開プラットフォーム付きの評価スイートとして提示する。