17モデルのCKA解析で、安全系システムプロンプトが中間表現をほとんど動かさず、制限と無制限の指示がほぼ同一の計算経路を使うことが示された。周囲の世界が動くだけでエージェント成功率が69.5%→31.3%に落ちるBACKDROP、ストリーミング動画の記憶と知覚の同時学習が続き、指示や足場が実際にどこまで効いているかを測る報告が並んだ。
注目論文
The System Prompt Illusion: How Instruction Preambles Modify Computation in Language Models
著者: Muhammad Usama, Dong Eui Chang
システムプロンプトは実務者がモデル挙動を制御する主要な手段だが、それがTransformer内部の計算に何をしているのかはほとんど分かっていない。本研究は8アーキテクチャ族・1.5Bから72Bまでの命令チューニング済み17モデルを対象に、5カテゴリ20種のシステムプロンプト下で層ごとの表現を Centered Kernel Alignment (CKA) で比較する。
新規性: システムプロンプトの効果を出力の変化ではなく、表現の再構成が起きる層の分布として測った点が中核である。効果は層選択的かつ指示の種類依存であり、ペルソナや書式の指示は中間表現を深く組み替えるのに対し、安全に関する指示はほとんど表現を動かさず、最小ベースラインと統計的に区別できない変化しか生まない。さらに制限的な安全指示と明示的に許容する指示（“you have no restrictions”）がほぼ同一の計算経路を使う（平均CKA相関0.997）ことを示し、これは商用規模でも持続して、70B-72Bでも安全指示の浸透度は10%を下回る。
手法: 線形プローブはモデルがプロンプトのカテゴリをすべての層で符号化していることを示す一方、計算を組み替えるのは一部の層に限られる——プロンプトは確かに「見られている」が、安全に関しては深く「従われてはいない」。因果的な activation patching でそれらの層が挙動変化を媒介することを確認し、表現上の深さが17モデル全体で挙動の効果量を予測する（Spearman rho = 0.761, p < 0.001）。システムプロンプトに依拠した安全対策が jailbreak に対して脆いままである理由に、機構側からの説明を与えている。
The Backdrop Exposes What the World Around an Agent Costs It
著者: Nusrat Jahan Lia, Shubhashis Roy Dipta
エージェントのベンチマークは、静止した世界でエージェントを試す。だが実際に配備されたエージェントは、他人も変化を起こす世界で働く——別の誰かが送金先の変更を伝えてくるし、注文確認メールが玄関の暗証番号の返信を求めてくる。BACKDROP は、清浄な世界で測られた能力がそうした世界でどれだけ残るかを問う。
新規性: 評価の操作対象をタスクの難度ではなく、タスクを取り巻く世界に置いた点が中核である。指示と正しい終状態は変えないまま、エージェントの実行環境に日常的なハザードを1つずつ、そして全部まとめて植え込む。各ハザードが問うのは別々の問いである——権限（他人からのメッセージはユーザーを上書きするか）、注入（記録に植えられたテキストはエージェントを逸らすか）、境界（与えられていないアプリへ引き込まれるか）、障害（書き込みが着地したか不明なまま失敗したとき、再試行の前に確認するか）。
手法: 3,678のバリアントと16モデルで、4つのハザードが揃うと平均合格率は69.5%から31.3%へ落ち、最強のモデルが最も大きく落ちる（Claude Fable 5.1 は96.6%から56.0%）。エージェントは注入されたテキストへの耐性は獲得しているが、他人からの権限なき依頼にはしばしば従う——4ハザード下で、植えたテキストが実際に届いた実行のみを数えると、他人のメッセージに従ったのが46.4%、注入テキストに従ったのが20.3%で、この差は16モデルを通じて一貫する。タスクの世界でのスコアは実世界性能の上限にすぎないと位置づける。
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
著者: Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang et al.
ストリーミング動画LLMは、ある情報が将来のタスクにとって関係するかが判明する前に証拠を保持し、十分な証拠が揃った時点で応答しなければならない（145 upvotes）。難所は、リアルタイムの知覚を損なわずに再利用可能な事実記憶を形成することだと本研究は述べる。
新規性: 記憶形成をクエリ到着後の検索問題ではなく、クエリ非依存の学習対象として知覚と同じ系の中に置いた点が中核である。ストリーミング動画理解の改良は、フレーム系列の圧縮率や検索精度を上げる形で進むのが通例である——だが何を残すかをクエリに合わせて決める構成では、まだ問われていない事柄の証拠が取りこぼされる。知覚・記憶・能動的応答を一つの学習対象に束ねる構成は、その取りこぼしを設計の内側に入れるためのものである。
手法: クエリに依存しない記憶形成とリアルタイム知覚を同時に学習し、応答タイミングの判断までを統合した OneStreamer を構成する。
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
著者: Julianna Piskorz, Antonin Berthon, Mihaela van der Schaar
on-policy学習は破滅的忘却を抑え、パラメータ更新を疎にし、汎化を改善すると論じられてきた（112 upvotes）。しかし既存の教師ありファインチューニングと強化学習の比較は多くの要因を同時に変えてしまっており、ロールアウト方策そのものの寄与を切り出すのが難しいと本研究は指摘する。
新規性: on-policy の利点を主張するのではなく、その主張が成立する条件を要因分解の問題として立て直した点が中核である。SFTとRLの比較は、最終スコアの優劣を示す形で進むのが通例である——だがデータ分布・損失・最適化設定が束で動いていると、「on-policy だから効いた」という帰属が検証できない。蒸留の動力学を体系的に測る構成は、その帰属を取り出すためのものである。
手法: ロールアウト方策以外の要因を揃えた比較を組み、蒸留過程の動力学（忘却・更新の疎性・汎化）を系統的に測定する。
A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review
著者: Chenguang Wang, Ming Li, Chengrui Fan et al.
AI査読者は、同じ科学を別の言い回しで報告した原稿に異なる判定を下しうる（64 upvotes）。これは科学的な改善ではなく修辞の最適化に報酬を与えることになりかねないと本研究は指摘する。
新規性: AI査読の信頼性を人間査読との一致率ではなく、内容を保存した書き換えに対する安定性として定式化した点が中核である。査読支援モデルの評価は、採否予測やスコア相関の精度を上げる形で進むのが通例である——だが精度は、判定が科学の中身に依ったのか文章の装いに依ったのかを区別しない。Rhetorical Robustness を要件として切り出す構成は、その区別を評価軸に載せるためのものである。
手法: 内容を保存する書き換えに対する判定の安定性を要件としてベンチマーク化し、そこから SciCore Review へ繋ぐ。
E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
著者: Arseny Ivanov, Alexander Kolesov, Alexander Korotin et al.
マスク拡散モデル（MDM）は各デノイズステップで複数トークンを同時にアンマスクして系列を生成するが、その逆過程は通常位置方向に因子化されている（48 upvotes）。この因子化が、拡散の速度優位が意味を持つ少ステップ領域での生成品質を抑えてしまうと本研究は述べる。
新規性: MDMの品質低下をアンマスク順序の選び方ではなく、逆過程の因子化という確率モデル側の仮定に帰した点が中核である。MDMの改良は、どの位置を先に確定するかという推論時の規則を工夫する形で進むのが通例である——だが位置ごとに独立に予測する構造が残る限り、同時にアンマスクするトークン間の依存は表現されない。因子化を解いた逆過程をMoEで扱う構成は、その依存を容量の側で引き受けるためのものである。
手法: 位置方向の因子化を外した拡散言語モデルに対し、拡張した Mixture-of-Experts を適用して少ステップ領域の生成品質を改善する。
Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
著者: Tong Zheng, Skylar Zhai, Zhan Cheng et al.
多報酬の強化学習は、複数の行動目標を同時に満たすようLLMを訓練する（41 upvotes）。GDPO で用いられる報酬ごとの正規化はロールアウト群内で報酬固有の相対情報を保つが、目標が異なれば学習の進み方も不均等になりうると本研究は指摘する。
新規性: 多目的RLの不安定さを重み設計ではなく、報酬信号の密度の差として扱った点が中核である。複数報酬の統合は、和をとるか報酬ごとに正規化する形で進むのが通例である——だが疎にしか発火しない報酬と頻繁に発火する報酬が混ざると、正規化後も実効的な学習圧力が偏る。密度を考慮した集約は、その偏りを集約の段で補正するためのものである。
手法: 報酬ごとの発火密度を考慮したアグリゲーションを導入し、目標間の学習進度の不均衡を補正する。
Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding
著者: Valeriy Vyaltsev, Anton Andreychuk, Taisia Zlotnikova et al.
通信を伴う分散マルチエージェント経路探索（MAPF）は、部分観測の下で衝突せず各自の目標に到達することを要求する（36 upvotes）。専門家データで訓練した学習型方策は有効な手段だが、複数の協調的な結合行動がいずれも有効な場合に問題が生じると本研究は述べる。
新規性: 分散MAPFの難所を観測の不足ではなく、有効な結合行動が複数併存することによる学習目標の多義性に置いた点が中核である。学習型MAPFは、専門家の軌跡を模倣して方策の精度を上げる形で進むのが通例である——だが正解が一意でない状況では、模倣の平均が有効な結合行動のどれでもないものに収束しうる。意図を反復的にデノイズする構成は、その平均化を避けて一つの整合した結合行動へ収束させるためのものである。
手法: 各エージェントの意図を反復的にデノイズしながら結合行動を精緻化し、分散実行下での協調を成立させる。
Hermes: Learning Contextual Reasoning Unlocks Test-Time Scaling
著者: Xinyu Li, Mononito Goswami, Hao Liu et al.
推論時に計算を追加投入するテスト時スケーリングを複数の文脈窓にまたがって有効に使うには、新しい文脈をどう割り当て、どの情報を次へ持ち越すかを決める必要がある。本研究はこの判断能力を contextual reasoning と呼び、既存手法がこれをハーネス側で規定していたのに対し、モデル側へ移す。
新規性: 文脈の割り当てと引き継ぎを固定手順ではなく、学習可能な判断として扱った点が中核である。Hermes はモデルが文脈の割当と再利用をどこまで制御するかを段階的に変えられる、単純で設定可能なハーネス群であり、Hermes-Learn はその能力を学習させる2段階の枠組みである。能力の高いモデルはこの自由度を使って推論時計算の追加に応じてスケールできるが、小規模なオープンソースモデルは当初それができない。
手法: Hermes-Learn による訓練でこの差は埋まり、問題と推論の進行状況の両方に応じて変化する適応的な contextual reasoning 戦略が誘導される。この利得はベンチマークとモデルを跨いで一般化し、訓練時に見た推論時計算量を超えて外挿し、Hermes 以外のテスト時スケーリング手法へも転移する。
TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
著者: Jiangnan Yu, Ceyu Xu, Mengming Li et al.
長時間走るツールがコーディングエージェントの遅延を支配しうる——コンパイラ、テストスイート、リポジトリのコマンドが数秒から数分かかる間、エージェントは待っている。この観測ストールは、アウトオブオーダー実行のプロセッサを生んだのと同じ緊張を抱えていると本研究は述べる。逐次的なインターフェースは、予測して先に始められる仕事を隠している一方、投機的な結果はそれ自身と先行する全ステップが検証された後にしか可視化できない。
新規性: エージェントの高速化をモデル推論の側ではなく、ツール呼び出しの実行順序の側で行った点が中核である。エージェントの遅延削減は、トークン生成を速めるか呼び出し回数を減らす形で進むのが通例である——だがツール実行そのものが支配項である場合、生成側をいくら削っても待ち時間は残る。軌跡の順序を崩して実行し、コミットだけを順序通りに行う構成は、その待ち時間を正しさを崩さずに埋めるためのものである。
手法: 将来の行動を下書きし、隔離された copy-on-write サンドボックスで実行して依存と副作用を追跡し、コミット済み状態に対する検証を経てから軌跡順にコミットする。サブ秒から数分までのツール呼び出しを含む3ベンチマークで報告平均を改善し、ツール遅延に応じてスケールする——SWE-bench Verified の100タスクで1.31倍、Terminal-Bench 2.0 の28タスクで1.35倍、SWE-Marathon の18セッションで進捗ベース1.27倍。監査した4,010件のコミット検証記録で誤受理は0件だった。
分野別の動向
アライメントと安全性：指示が届く深さを測る
安全対策の有効性を、拒否率ではなく指示が計算のどこまで届くかで測る報告が目を引いた。The System Prompt Illusion（2609.38205）は17モデルで安全指示が中間表現をほぼ動かさないことを示し、制限と無制限の指示が相関0.997の同じ経路を通ると報告する。arXiv cs.CL の Evaluating Language Model Safety Across Long Adversarial Conversations（2609.38357）は時間軸で同じ問いを立て、初手の安全応答率85-100%が深さ11で38-61%、深さ101で15-44%まで落ちることを示す——単発の強さは持続を保証しない。Removing the NEEDLE in the Haystack（5 upvotes）はバックドア除去が良性プロンプトの出力分布を動かしてしまう副作用を扱い、ContextAdapt（2609.38260）は12モデルの価値判断が専門領域ごとの規範に適切に適応するかを測り、行動の適切性は平均95.6%でも領域固有の正しい理由づけは25.6%から76.9%まで散ると報告する。Framing the Narrative（2609.38256）は用語の入れ替えだけでモデルの支持する立場が16.9%の対で反転することを示した。
エージェント：世界が動く前提での堅牢性と実行効率
BACKDROP（2609.38469）が静止しない世界でのエージェント能力の目減りを定量化し、権限なき依頼への追従（46.4%）がプロンプト注入（20.3%）の倍以上であることを示した。実行側では TomasuLLM（2609.38201）がツール呼び出しの順序を崩して遅延を埋め、AgSpec（6 upvotes）は検索ベースの投機デコードをコーディングエージェントのパイプラインへ寄せる。cs.AI の Fault-Tolerant Budget Conservation in Distributed Multi-Agent Delegation（2610.00349）は予算を権限境界として形式化し、応答喪失・タイムアウト後の遅延完了・メッセージ重複・分断・DAG合流時の系列エイリアスの下で超過支出を防ぐ機構を証明付きで与える。Prefill-Free Cross-Family KV Cache Transfer（2 upvotes）は異種モデル間の共有文脈の再 prefill を省く経路を探り、Pay for the Fault, Not the Flow（1 upvote）はラベルなしでマルチエージェント・ワークフローの分割と担当割当を最適化する。周囲の環境・コスト・権限といった「タスクの外側」が、まとめて設計対象になってきている。
蒸留とポストトレーニング：on-policy の中身を分解する
on-policy 自己蒸留（OPSD）が本日の最大の集中領域である。On-Policy or Off-Policy Learning?（112 upvotes）がロールアウト方策の寄与を要因分解で切り出す一方、Better Supervision Is Nearby（7 upvotes）は固定した1つのパラメータ設定ではなく近傍の設定が追加の監督を与えうると指摘し、Where-OPD（7 upvotes）は特権情報を持つ自己教師の枠組みをMLLMへ広げる。cs.LG の Activation-Conditioned Self-Distillation（2609.38342）は参照解に条件づける代わりに、検証済み正解に至った軌跡と残りの軌跡の活性化を対比してステアリングベクトルを抽出し、5モデルすべてで4つの数学ベンチマーク平均首位を取る。On the Off-Policy Teacher in On-Policy Distillation（2609.38360）は OPD に固有の非対称性——軌跡は生徒には on-policy だが教師には off-policy である——を名指し、生徒の接頭辞が長くなるほど教師の継続性能が劣化することを実測して、教師側を検証可能報酬で共訓練する。Smaller Models, Better Rejects（6 upvotes）は却下側の応答を生徒以上の大きさのモデルから採る前提を問い直す。特権情報を与えること自体が良い監督を保証しない、という点で各報告が噛み合っている。
記憶と世界モデル：何を残し、何を捨てるか
ストリーミング・長文脈の記憶設計が、保持と検索の切り分けへ向かっている。OneStreamer（145 upvotes）がクエリ非依存の記憶形成を知覚と同時に学習する一方、cs.AI の What Should an Agent Remember?（2610.00366）は保持規則と選択規則を交差させた同一300エピソードの評価を組み、アクセスを固定すればクエリ考慮の選択が必須事実の再現率を15.5ポイント改善するのに対し、履歴アクセスも同時に変える混成比較では68.7ポイントの優位が出て、そのうち53.2ポイントはアクセスに帰属すると報告する——有界保持の条件で観測された319件の失敗はすべてランキング誤りではなく追い出しが原因だった。Heavy-Tailed Memory Traces（2610.00010）は記憶利用の形そのものを監査対象にし、コアと長い裾への集中が方策依存で再現することを示す。動画世界モデル側では Honeycomb（1 upvote）が定数サイズのシーン記憶を、LOCI（5 upvotes）が空間的な線形記憶を、Memorizon（4 upvotes）が文脈窓を超える長スパン監督の計算量を扱い、MemFold（0 upvotes）は長期個人化のための圧縮ソフト記憶を on-policy 最適化で学ぶ。
評価：足場とコストを測り直す
ベンチマーク自体の設計条件を問う報告が続いている。A Missing Piece for Trustworthy AI Reviewers（64 upvotes）が修辞的頑健性を査読評価の要件に据える一方、cs.AI の Measuring the Microtask Eligibility Gap（2610.00025）はエージェントのハーネス周辺マイクロタスクに小型モデルを置けるかを事前宣言した閾値とCI込みの適格規則で判定し、Qwen3 0.6/1.7/4/8B の16構成すべてが不適格、4bit量子化も適格化に寄与せず、Llama-3.x でも12/12不適格と報告する。Scientific Agents（2610.00084）は503の職業別システムプロンプトを評価し、精度差は平均-0.6ポイントで出力トークンは1.5-2.3倍、成功呼び出しあたりコストは2.2-4.5倍と、長いプロンプトの対価を測った。Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert（2610.00047）は機構の無効性を等価性検定で積極的に示す型を提示し、322件の注入イベントのうち本当に停滞した連鎖を狙えていたのは14%だったと分解する。Argo-Bench（17 upvotes）は既存 text-to-SQL ベンチマークの解答キーの誤りを指摘しつつ企業規模のデータエージェント評価を組み、KaliBench（4 upvotes）と RLE-Bench（5 upvotes）はそれぞれセキュリティツール操作とロボット学習の実務能力を実行可能な検証で測る。