13の基盤モデルが文脈内の参照を1.4-3.6行しか追えず、初期層に挿した rank-8 LoRA だけで重みを凍結したまま深さの利用が延びることが示された。ループ Transformer の中間表現の再利用、再利用可能な手続きの階層トークン化、多報酬RLの正規化と、既にある計算をどう取り出すかを問う報告が並んだ。
注目論文
Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
著者: Zehao Jin, Ruixuan Deng, Junran Wang
事前学習済み Transformer は、文脈内の参照をたどるために自分の深さをほとんど使っていない（62 upvotes）。13の基盤モデルを調べると、確実に追えるのは1.4-3.6行にとどまり、事前学習されたループを追加しても伸びは小さいと本研究は報告する。
新規性: 参照追跡の限界を知識や注意パターンの問題ではなく、深さの使われ方——計算をどこで打ち切るか——として測った点が中核である。この種の能力向上は、モデルを大きくするか学習データを増やす形で進むのが通例である——だが深さが余っているのに使われていないのなら、容量の追加は本質的な制約に触れない。1層への介入で伸びを確認する構成は、制約が容量側ではなく計算の継続側にあることを切り分けるためのものである。
手法: タスクで訓練した rank-8 の LoRA を初期層の1箇所に挿し、モデル重みはすべて凍結したまま、文脈内参照に使われる計算を延長する。Qwen3-8B での改善が報告されている。
Decoding Looped Transformers Better for (Almost) Free
著者: Weihao Liu, Huangjie Zheng, Tianrong Chen et al.
ループ Transformer は共有ブロックを再帰的に実行することでパラメータ効率を得る（25 upvotes）。各ループは同じ次トークンに向けて復号可能な中間表現を生むが、標準的な復号は早いループの状態を捨ててしまうと本研究は指摘する。
新規性: ループ構成の改良を学習側ではなく、既に計算された中間状態の扱いに置いた点が中核である。再帰モデルの性能向上は、ループ数を増やすか共有ブロックを強くする形で進むのが通例である——だが各ループが復号可能な表現を出しているのに最終ループだけを読むなら、支払った計算の一部は使われないまま破棄される。早いループは計算量が少ないぶん表現としては弱いが、捨てる理由にはならない。
手法: 各ループの中間表現を復号に取り込み、追加コストをほぼ発生させずに性能を改善する復号法を与える。
X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
著者: Sitao Cheng, Xunjian Yin, Zhiyuan Sun et al.
多段階エージェントは平坦な行動列の上で訓練される（36 upvotes）。SFT と RLVR はすべてのトークンを均等に重み付けし、タスクを跨いで再帰する下位手続き——人間が再利用可能なルーチンから上から下へ計画するときに使う階層——を無視すると本研究は述べる。
新規性: エージェントのデータ効率を軌跡の量ではなく、軌跡内の構造の使われ方に帰した点が中核である。エージェント学習の改良は、より多くの軌跡を集めるか報酬を精緻化する形で進むのが通例である——だが行動列を平坦な文字列として扱う限り、同じ下位手続きが何度現れても別個の事例として消費される。再利用される手続きをトークン化する構成は、希少な軌跡から同じ構造を繰り返し学べるようにするためのものである。
手法: タスク間で再帰する下位手続きを階層的な単位としてトークン化し、エージェントの汎化を少ない軌跡で成立させる。
Persona Dosing: Calibrated Activation Steering for Graded Trait Control
著者: Zehao Jin, Junran Wang, Ruixuan Deng et al.
activation steering の係数は介入の強さを決めるが、「この特性をこの程度だけ出す」という要求に応えるには行動側の尺度が必要になる（40 upvotes）。本研究は persona dosing——特性の記述と要求する平均強度を与えてモデルを制御する問題——を定式化する。
新規性: steering の評価を「効いたか/効かなかったか」ではなく、要求した強度と実際の発現度の対応という校正問題として立てた点が中核である。ペルソナ制御は、プロンプトで指示するか steering 係数を手で探る形で進むのが通例である——だが係数は内部の量であって、出力に現れる特性の度合いとの対応は保証されない。要求強度を入力にとる構成は、その対応を校正の対象として明示するためのものである。
手法: PersonaDose は共有された記述ベースの表現を特定の特性へ特化させ、要求された平均強度に合うよう段階的な制御を与える。
CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
著者: Wenbin Hu, Huihao Jing, Haochen Shi et al.
GRPO は推論モデルの訓練で広く使われ、同一プロンプトのロールアウト群で報酬を中心化・正規化してアドバンテージを計算する（23 upvotes）。複数報酬の場合、GRPO は報酬成分を足し合わせ、その合計を群内の分散で正規化すると本研究は指摘する。
新規性: 多報酬学習の歪みを重みの設計ではなく、合計してから正規化するという手順そのものに帰した点が中核である。複数目標の統合は、スカラー化の重みを調整する形で進むのが通例である——だが報酬成分の間に相関があると、合計の分散は各成分の寄与を正しく反映せず、正規化後の勾配は相関構造に引きずられる。相関を考慮した正規化は、その引きずりを集約の段で外すためのものである。
手法: 報酬成分間の相関を考慮してアドバンテージを正規化する CorrGRPO を導入する。
Video Generation Models: A Survey of Post-Training and Alignment
著者: Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni et al.
動画生成は短く低品質なクリップから、複雑な時空間ダイナミクスを持つ高解像度・長尺の系列へ急速に進んだ（44 upvotes）。大規模事前学習で強い生成的事前分布を得ても、事前学習済み動画モデルは人間の意図に確実に従えず、一貫性の維持にも失敗しがちだと本研究は整理する。
新規性: 動画生成の課題を生成能力ではなく、事前学習後の整合——事後学習とアライメント——の側に置いて体系化した点が中核である。この分野のサーベイは、アーキテクチャや拡散手法の系譜を整理する形で進むのが通例である——だが品質が上がった後に残るのは「指示に従うか」「破綻せず続くか」であり、そこは事前学習の外側にある。事後学習を軸に並べ替える構成は、その残差を一つの研究領域として可視化するためのものである。
手法: 動画生成モデルに対する事後学習・アライメント手法を分類して整理し、意図追従と一貫性維持の失敗要因を軸に対応付ける。
EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
著者: Shulin Tian, Junsu Kim, Shuai Liu et al.
日常の活動から専門的な手順まで、実世界の身体性タスクはエージェントに物理制約の下で行動しながら物体とタスクの状態の推移を追うことを要求する（44 upvotes）。道具の使用はそうしたタスクの中心に位置しており、多くの活動は道具を介して行われると本研究は述べる。
新規性: 一人称動画の理解を行動分類ではなく、道具を中心とした状態推移の追跡として定式化した点が中核である。エゴセントリック動画の評価は、動作ラベルの予測精度やキャプション品質を上げる形で進むのが通例である——だが何が起きたかを言い当てるだけでは、道具がいま対象をどの状態にしたかは問われない。道具を中心に据える構成は、その状態推移を評価軸に載せるためのものである。
手法: 実世界の一人称動画における道具使用を対象に、物体・タスク状態の推移を追跡する推論能力を評価する枠組みを構成する。
Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens
著者: Ruiyang Si, Jianxin Bi, Shunyu Yang et al.
視覚言語モデル（VLM）エージェントは視覚フィードバックと行動プリミティブを通じてロボットを制御できるが、モデルの反復呼び出しと冗長な観測が大きなトークンオーバーヘッドを生む（34 upvotes）。本研究はこのオーバーヘッドを削りながら成功率を上げられるかを問う。
新規性: ロボット制御の効率化をモデルの軽量化ではなく、モデルを呼ぶ回数と観測の渡し方の側に置いた点が中核である。VLM エージェントの改良は、より強いモデルに差し替えるか観測を圧縮する形で進むのが通例である——だが1ステップごとにモデルを呼ぶインターフェースが残る限り、呼び出し回数そのものが支配項として残る。コード実行でプリミティブを束ねる構成は、その回数を設計で減らすためのものである。
手法: PyRUA-Lean は対話的なコード実行の枠組みで、フィードバック駆動のプリミティブ合成を結びつける。成功率を14%向上させつつトークンを65%削減したと報告する。
Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
著者: Hongyuan Tao, Xinggang Wang, Lianghui Zhu et al.
統一マルチモーダルモデルの多くは、言語と量子化した画像をともに離散トークンとして扱うか、離散の言語予測と連続の画像生成を組み合わせる（23 upvotes）。前者は視覚の量子化を持ち込み、後者は離散と連続が混在する設計になると本研究は指摘する。
新規性: 統一モデルの設計を接続方式ではなく、言語と視覚を同じ連続空間のフローとして置き直す点に求めたのが中核である。マルチモーダル統一は、片方を他方の表現形式に合わせる形で進むのが通例である——だが画像を離散トークンに落とせば量子化誤差が入り、離散と連続を併置すれば学習目標が二系統に分かれる。両方を埋め込み空間のフローとして扱う構成は、その二択を回避するためのものである。
手法: 言語と視覚を完全に連続な生成モデルとして埋め込み空間上のフローで統一的にモデル化する。
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
著者: Gabriel Tomitsuka, Arman Raayatsanati, Emma Xing et al.
実務のデータサイエンス・分析ワークフローは、数十のテーブルを横断して推論し、統計分析を行い、その結果に基づいて行動することを要求する（21 upvotes）。既存の text-to-SQL ベンチマークはクエリ生成だけを評価しており、監査によってその正解キーがしばしば誤っていることも判明していると本研究は指摘する。
新規性: データエージェントの評価をクエリの正しさではなく、分析から行動までを含むワークフロー単位に広げた点が中核である。この分野の評価は、SQL の実行一致率を上げる形で進むのが通例である——だが単一クエリの正解は、数十テーブルを横断する分析の妥当性を保証しない。実務規模のワークフローを単位にする構成は、その差を測定可能にするためのものである。
手法: 多数テーブルを跨ぐ企業規模のワークフローを課題として構成し、データエージェントを分析と結果利用まで含めて評価する。
分野別の動向
LLM基盤技術：すでに払った計算を取り出す
今日の軸は、新しい容量を足すのではなく既存の計算を使い切る方向に寄っていた。Transformers Stop Thinking Too Early は13モデルが文脈内参照を1.4-3.6行しか追えないことを示し、初期層の rank-8 LoRA 一つで重みを凍結したまま深さの利用を延ばす。Decoding Looped Transformers（25 upvotes）は各ループの中間表現が復号可能なのに破棄されている点に着目し、ほぼ無償で性能を回収する。Constant-Memory Recall（2610.00232）は32 KiB の固定行列状態を持つ DeltaNet 変種が1系列32組の新規キー値を平均99.95%で再現し、対になる組を増やさないフィラーで文脈を1,798トークンに伸ばしてもほぼ保つと報告する一方、パラメータを揃えたベクトル版と Transformer のベースラインが偶然水準に留まり、メモリ効率の比較が成立しなかったことも明記している。Explore Broadly, Reason Sharply（7 upvotes）は RL 事後学習の代わりに推論時のサンプリング鋭化で小型モデルを押し上げる方向を扱う。
効率化：カーネルと数値形式の側から
GPU 世代ごとに行列・特殊関数・メモリのパイプラインが別の速度で伸びるため、ボトルネックが移動するという前提に立つ報告が目立った。Fast Polynomial Transcendentals for LLMs（2610.00049）は sigmoid/tanh/SiLU を3-4次の BF16 多項式プログラムで置き換え、孤立経路で L2 常駐時1.19-2.19倍、GB200 の統合タスクで学習ステップ全体を2.7%・2.9%・8.0%改善する。Format-Aware Fusion for Fast FP4 Pretraining（2610.00053）は量子化の生成側と消費側のレイアウトを同時設計し、8B の1,600億トークン事前学習で bfloat16 の18.8K tokens/s/GPU に対して37.9K まで到達する一方、下流のランキングが学習損失のランキングと一致しない点を結論に残す。推論側では AgSpec（11 upvotes）が検索ベース投機デコードをコーディングエージェントのパイプラインへ合わせ、Prefill-Free Cross-Family KV Cache Transfer（6 upvotes）は異種モデル間で KV キャッシュを渡して共有文脈の再 prefill を省く。
マルチモーダルとワールドモデル：記憶の表現をどう固定するか
長尺・ストリーミングでの一貫性を、記憶表現のサイズを増やさずに保つ試みが集まった。Honeycomb（5 upvotes）は RGB や潜在特徴を蓄積せずに定サイズのシーン記憶を持つ動画ワールドモデルを構成し、LOCI（10 upvotes）は KV キャッシュが動画長に比例して伸びる問題に対して空間的な線形記憶を与える。Memorizon（10 upvotes）は同じ場所への再訪を教師信号にするために必要な長スパン監督のコストを、全スパンへの密な注意を避ける形で下げる。評価側では PhysVista（17 upvotes）が VLM の物理的一貫性を知覚・推論・評定のループで測り、VTR-Bench（10 upvotes）は視覚品質や物理的妥当性に偏っていた動画生成の評価に文字描画という軸を加える。Before It Fades（5 upvotes）はフレーム順を反転させても時間推論が反転しない VideoLLM の弱点を推論時の介入で扱う。
事後学習と蒸留：教師と報酬の取り方を問い直す
自己蒸留と多報酬 RL の両方で、監督信号の作り方そのものが検討対象になっていた。CorrGRPO（23 upvotes）は報酬を足してから正規化する GRPO の手順を相関正規化で置き換え、Better Supervision Is Nearby（14 upvotes）は on-policy 自己蒸留が全状態で固定の教師設定を使う点に対し、近傍の設定が追加の監督を与えうることを示す。Where-OPD（14 upvotes）は言語モデルで有効だった on-policy 自己蒸留を合成シーンによる空間的な誘導つきで MLLM へ持ち込む。Smaller Models, Better Rejects（15 upvotes）は選好蒸留が「教師の応答を preferred、学生自身の応答を rejected」とする前提を崩し、rejected が学生以上の規模から来る必要はないと論じる。
評価手法：指標の読み方そのものを検証する
ベンチマークの数字が何を保証していないかを示す報告が並んだ。Generalization Is Stability, Not Accuracy（9 upvotes）は汎化を単一プロンプト形式の集約精度ではなく、同じ入力の言い換えに対する意味的安定性として多軸で測り直す。Keyword Harnesses Fail Open（5 upvotes）はキーワード照合型ベンチが実際には行われていないツール使用を小型モデルに加点してしまう偽陽性を具体例付きで記録し、安価で厳密な診断の段階的な組み方を提案する。arXiv cs.LG 側では The Null Is the Hard Part（2610.00251）が生成モデルの記憶監査に帰無分布がないことを問題にし、誤発見率を制御すると MemBench が認定した画像の三分の二が検出されなくなる、データコピーのテストを自身の帰無分布に照らすと何も再現しない生成器24件中10件が検出されると報告する。The Hidden Costs of 99% Accuracy（2610.00118）は定番ベンチの95%超という精度報告を分割前 SMOTE の漏れ（churn クラス F1 が13.1ポイント水増し）と決定的に導出可能な特徴量の寄与で分解し、“very likely” Means “uncertain”?（2610.00083）は LLM が言語的な不確実性表現に割り当てる数値が人間とずれることを示す。One Mastery Threshold Does Not Fit All（2610.00095）は同じしきい値が知識追跡モデルによって別の意味を持つことを6モデル4データセットで確認している。
エージェントとツール利用：権限境界と介入の監査
ツール呼び出しの手前にある判断を内部から監査する方向が続いていた。When Does Correction Become Repair?（6 upvotes）はツール利用 LLM が「呼ぶ・確認する・直接答える・断る」の K 択をどう選ぶかに activation steering を効かせたとき、集約指標では変化した状態がどこに現れたのか分からなくなる点を扱う。KaliBench（8 upvotes）はサイバーセキュリティのツール利用を実行可能なコマンド生成の粒度で測り、ランタイム不要な検証可能報酬を与える。Nous（2610.00094）は信念ベースのエージェント記憶について、情報源の信頼度を校正する前に有用な決定を学習し改善を認証できることを示し、決定の学習に必要な記録数が情報源推定より二次のオーダーで少なくなる領域を特定する。Contingent Exposure Routing for Financial AI（2610.00239）はモデルのフェイルオーバーが可用性を回復する一方で誤りを共有する機関の組み合わせを変える点を定式化し、共有バックアップが残す集中リスクの下限を示した。