タンパク質折り畳みの検証可能な命題で推論を鍛える試み、参照解なしで検証を強める VeriHarness、AI生成論文の「スロップ」検出が並んだ。on-policy 事後学習を更新方向や表現レベルから捉え直す報告も続き、出力の正誤だけでは見えない信号の取り方が問われた一日だった。
注目論文
RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations
著者: Arman Behnam, Sunglyoung Kim, Liangwei Yang
数か月にわたって一人の人物と話し続けるコンパニオンは、その人が何を言ったかを覚え、どういう人物かを推し量り、過去のやりとりが目の前のメッセージに関係する場面を見極められるべきだ——本研究はこの能力を実在人物の長期会話記録で測るベンチマークを提案する（195 upvotes、本日最多）。
新規性: 人物理解の評価を、生成された人物像ではなく実在の人物の記録に置いた点が中核である。こうした評価には本人の長期記録が必要だが、記録は私的なものであるため、既存のベンチマークは人物側を生成で補う形で作られてきた——だが生成された人物は一貫しすぎており、実際の会話に現れる曖昧さや変化を含まない。実記録を使う構成は、記憶・推論・関連判断を現実の分布の上で問うためのものである。
手法: 実世界の縦断的な会話記録を素材に、記憶の想起、人物像の推論、過去の文脈が現在のメッセージに関わるかの判断を評価する課題として構成する。
Does Learning Protein Folding Generalize to Broader Reasoning?
著者: Yong Liu, Zhanpeng Shi, Yizhou Dang et al.
LLM は人間のテキストに強く依存しており、そこには表面的な答えは書かれていても、その背後にある空間的・構造的な論理は書かれていないことが多い（109 upvotes）。本研究は、タンパク質折り畳みを学習することが一般的な推論へ転移するかを問う。
新規性: 推論訓練の素材を、人間が書いた解説ではなく、正誤を厳密に確かめられる構造データに求めた点が中核である。推論能力の強化は、数学やコードのように検証可能なドメインを広げる形で進むのが通例である——だが空間的・位相的な推論については、大量の検証可能な問題を用意する手段が限られていた。解かれた構造1つから数千の厳密に検証可能な空間・位相命題が得られるというタンパク質の性質は、その供給源として働く。
手法: 解かれたタンパク質構造から空間的・位相的な命題を大量に生成し、それを学習した LLM がタンパク質以外の推論課題へ汎化するかを検証する。
MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
著者: Bingxuan Li, Siqi Song, Yizhuo Wu et al.
VLA モデルはロボット操作を進展させたが、新しいタスクや環境へのゼロショット汎化は限られている（85 upvotes）。さらに専用の学習に依存するため、急速に進歩する汎用 VLM の恩恵を直接受けられないと本研究は指摘する。
新規性: ロボット操作の汎化を、専用モデルの訓練ではなく、汎用 VLM の外側に足場（scaffolding）を組む問題として扱った点が中核である。この分野はロボットデータで VLA を学習し直す形で進むのが通例である——だがその方式では、汎用 VLM が更新されるたびに専用学習をやり直さない限り、その進歩が操作能力に反映されない。足場を外付けにする構成は、ベースの VLM を差し替えるだけで改善を取り込めるようにするためのものである。
手法: 汎用 VLM に操作のための足場を与え、専用の VLA 学習なしでゼロショットのロボット操作を行わせる枠組みを提案する。
On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
著者: Shufan Shen, Zhongni Hou, Junshu Sun et al.
on-policy 事後学習の高い汎化性能は、そのパラメータ更新の振る舞いを調べる研究を促してきた（69 upvotes）。だがそれらの研究は観測された振る舞いを on-policy 学習の副産物としてしか扱っておらず、改善のための最適化原理として使える可能性を見落としていると本研究は指摘する。
新規性: on-policy 学習の汎化を、データ分布や報酬ではなくパラメータ更新の方向に帰し、その方向を観察対象から設計原理へ格上げした点が中核である。SFT と RL の汎化差は、学習データが自分の出力かどうかという分布の観点で説明されるのが通例である——だが差の正体が更新方向にあるなら、on-policy で回さなくてもその方向を目標に最適化できる余地がある。
手法: on-policy 事後学習における更新方向を分析し、それを汎化を高めるための最適化原理として利用する。
HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
著者: Alham Fikri Aji, Faiz Rizki Ramadhan, Zayd M. K. Zuhri et al.
Web ブラウジングエージェントのための多言語・マルチモーダルなベンチマークで、13言語にわたる人手作成・人手検証済みの423問からなる（42 upvotes）。各問は公開情報に基づく簡潔な答えを持ち、極めて難しくなるよう設計されている。
新規性: ブラウジング評価の難度を英語・テキストの外側に広げた点が中核である。BrowseComp 系の評価は英語のテキスト検索を前提に難問を積む形で進むのが通例である——だが実際の Web は多言語で、答えの手がかりが画像に埋まることも多い。母語話者または高い習熟度の書き手が作問する構成は、機械翻訳では再現できない言語固有の検索経路を評価に載せるためのものである。
手法: 母語話者または高習熟の書き手が13言語で問題を作成し、人手で検証した423問を、言語とモダリティを跨ぐストレステストとして提供する。
Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
著者: Seo Hyun Kim, Sunwoo Hong, Younwoo Choi et al.
マスク拡散言語モデル（dLM）は複雑な推論で自己回帰モデルに代わる並列生成の候補だが、特有の信用割当の難しさを抱える（34 upvotes）。ノイズ除去中の少数の確定（commitment）が、残りのマスク位置の不確実性を急激に減らしてしまうためだと本研究は述べる。
新規性: dLM の学習効率を、全ステップ均等の監督ではなく、生成の帰趨を左右する少数の確定点——ピボット——に着目して扱った点が中核である。自己蒸留は軌跡全体に一様な教師信号を与える形で行われるのが通例である——だが少数の確定が残りを事実上決めてしまうなら、一様な信号はその決定的なステップに十分な重みを置けない。
手法: 不確実性を大きく減らす確定に焦点を当てた効率的な自己蒸留により、マスク拡散 LM の信用割当問題に対処する。
Large Language Continuous Diffusion Models
著者: Zhihan Yang, Wei Guo, Jean-Marie Lemercier et al.
離散拡散言語モデルは高速な並列デコードで成功しているが、空間が非平滑かつ高次元であるため、推論のための軌跡誘導や推論高速化が難しい。本研究は、操作可能な低次元の ODE/SDE 潜在軌跡に基づく初の大規模（3B/8B）連続 dLM、Sigma を提示する。
新規性: 拡散 LM の設計空間を離散から連続へ戻し、規模を揃えて比較した点が中核である。近年の dLM はマスク型の離散拡散を拡張する形で進むのが通例である——だが離散空間では埋め込みに沿った誘導ができず、少ない関数評価（NFE）での劣化も急になる。連続化は、品質と多様性のトレードオフを埋め込み空間の操作で制御し（pass@k の強さにつながる）、低 NFE でも緩やかに劣化し蒸留しやすいという、連続 dLM 固有の性質を得るためのものである。
手法: ガウスノイズを加えたトークン埋め込みをブロック単位の尤度最適化でノイズ除去しつつ、最適な埋め込み幾何も同時に学習する。学習は自己回帰モデルの事前学習済み重みでウォームスタートする。推論では classifier-free guidance とスコア温度が高精度な推論・コーディングに不可欠だとする。事前学習後に GSM8K・Minerva・HumanEval・MBPP で、SFT 後に MATH-500・AIME で、マスク型 dLM や AR ベースラインと同等の性能を報告する。
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
著者: Zhengyu Fang, Seoyeon Hong, Jie Yang et al.
on-policy 蒸留（OPD）は、学生自身が生成した応答の上で学生を訓練する（31 upvotes）。既存の LLM 向け複数教師 OPD は、専門家の予測を出力分布を通じて転移させる。本研究は、著者らの知る限り初の表現レベルの複数教師 OPD である Latent-MOPD を導入する。
新規性: 複数教師の統合を、出力分布ではなく内部表現の段で行う点が中核である。複数の専門家を一つの学生にまとめる蒸留は、各教師の次トークン分布に合わせる形で行うのが通例である——だが出力分布は教師が「何を予測したか」しか運ばず、その予測に至った表現は伝わらない。表現レベルで統合する構成は、教師ごとの知識を出力より手前で転移させるためのものである。
手法: 学生の on-policy 応答上で、複数の専門教師の表現を統合して学生へ転移させる。
Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers
著者: Yerim Oh, Young-Jun Lee, Jaewoo Ahn et al.
AI スロップと呼ばれる AI 生成コンテンツはあらゆる場所で増えており、学術界も例外ではない（31 upvotes）。だが AI 生成の科学論文に含まれるスロップは、既存のトークンベースの AI 検出器では捉えられない複雑なパターンを持つと本研究は指摘する。
新規性: AI 生成論文の問題を「AI が書いたか」の判定ではなく、「科学として成立しているか」という質の問題として切り出した点が中核である。この種の検出は、文体やトークン分布の痕跡から生成元を当てる形で進むのが通例である——だが各部分がもっともらしく見える論文では、局所的な文の不自然さは手がかりにならず、問題は部分同士の整合という文書全体の水準に現れる。
手法: AI 生成論文における科学的スロップをベンチマーク化し、その検出と緩和の手法を提案する。
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
著者: Caiqi Zhang, Rujun Han, Zifeng Wang et al.
LLM エージェントが複雑で長期のタスクを担うほど、その出力を検証することは難しくなる（26 upvotes）。本研究は、テスト時に参照解も採点ルーブリックも使わずに、固定されたベースモデルの検証能力をどう強められるかを調べる。
新規性: 検証を、より強いモデルや正解データに頼るのではなく、同じモデルをエージェント的に使う設計の問題として扱った点が中核である。長期タスクの評価は参照解との突き合わせや LLM ジャッジへのルーブリック付与で行うのが通例である——だが長期タスクではそうした参照を事前に用意できない場面が多い。モデルを固定したまま検証の手順側をスケールさせる構成は、その制約の下で検証精度を上げるためのものである。
手法: 固定のベースモデルに対し、反復サンプリングを含むエージェント的な検証のハーネスを構成し、長期タスクの出力検証をスケールさせる。
分野別の動向
LLM基盤技術：拡散・ループ・線形注意の設計空間
自己回帰 Transformer 以外の構成に、規模と比較条件を揃えて挑む報告が並んだ。Sigma（2610.02665）は 3B/8B の連続 dLM で離散 dLM や AR と同等の性能を示し、Pivot-SD（34 upvotes）はマスク型 dLM の信用割当を自己蒸留で扱う。Looping Beyond Twice（10 upvotes）は、パラメータを増やさず実効深さを増やすループ Transformer の利点が FLOPs を揃えた大規模 MoE で不明確だった点に対し、2回を超えるループの学習レシピを示す。Triadic Linear Attention（17 upvotes）は、固定サイズの記憶状態の大きさが RNN の性能を左右するという前提に立ち、線形注意の状態を3次元に拡張する。The Extender（1 upvote）は残差ストリームに加えて連結チャネルを持つログ構造型 Transformer を提案する。
事後学習と蒸留：on-policy の中身を分解する
on-policy 学習がなぜ効くのか、何を転移しているのかを分解する報告が集まった。On-Policy Parameter Update Direction（69 upvotes）は汎化を更新方向に帰し、Latent-MOPD（31 upvotes）は複数教師の統合を表現レベルへ移す。From Gradients to Capabilities（6 upvotes）は、学生と同じ初期化から RL で訓練した4つのドメイン教師を使い、Qwen3-1.7B で教師信号がパラメータ変化にどう影響するかを調べる。Slow-Fast MOPD（2610.02324）は、MOPD で学生が初期化から離れるほど汎用能力が落ちる問題に対し、学生の指数移動平均を基準として、そこから遠ざかる成分だけを教師の更新から取り除く。Counterexample Generation via Per-Theorem Symbolic Verifiers（2610.02444）は、反例のみの SFT が Qwen3-4B の真の定理の認識を0.27から0.00に崩し、疎な結果報酬の RLVR がそれを0.66まで回復させる「模倣の罠」を報告する。Tropical Reinforcement Learning（2610.02478）は、成功軌跡の確率を足し合わせる代わりに最大値をとるトロピカル半環へ代数を変え、Sokoban・Countdown・FrozenLake・WebShop で最も強い on-policy ベースラインを最大16ポイント上回る。
エージェント：開ループの正解と閉ループの成功の差
一手の正しさが課題の達成を保証しないことを示す評価が目立った。XiangqiBench（2610.02425）は中国象棋の詰み問題で12のフロンティア LLM を閉ループで評価し、参照の初手を指した試行の13.9%しか勝ちに至らず、首位モデルでも pass@3 38.7%に対し pass^3 は5.9%にとどまると報告する。When History Fails to Become Experience（2610.02769）は、エージェントの履歴の恩恵の多くが過去の行動をシャッフルしても残ることから、行動と結果を結びつけていないという仮説を立て、各観測を直前の行動の結果とラベル付けするだけで成功率が上がることを示す。Beyond Correctness（2610.02739）は agentic Text-to-SQL で、実行結果が正しくても未検証の仮定が通ってしまう「沈黙の失敗」を、質問計画を可変プール PlanPool として外部化して減らす。VeriHarness（26 upvotes）と WEFT（10 upvotes）は、それぞれ検証と tool-use 事後学習を、環境単体ではなくハーネスや評価器を含む系全体でスケールさせる方向を取る。
マルチモーダル・ロボティクス：ワールドアクションモデルの台頭
映像の未来予測と行動予測を結合するワールドアクションモデル（WAM）の報告が上位に並んだ。ProWAM（World Action Modeling with Progressive Visual Planning、69 upvotes）は密な動画生成の代わりに順序付きの疎な視覚サブゴールを予測し、LIBERO-Plus で85.8%、ランダム化 RoboTwin で75.7%を報告し、実世界のゼロショット実験では最強ベースラインの55.0%に対し70.0%を達成する。Native Action-Prior Learning from Videos（59 upvotes）は、行動注釈付きロボット軌跡への依存を観測のみの動画から行動事前分布を学ぶことで緩める。MotorMind（85 upvotes）は逆に、専用 VLA を学習せず汎用 VLM に足場を与える側から操作の汎化を狙う。長尺生成の記憶では、QuantWM（5 upvotes）が動画ワールドモデルの KV キャッシュを時間的一貫性を保ったまま2ビットに量子化し、Spatial Memory Intelligence（26 upvotes）は理解駆動の長期記憶をワールドモデルに持たせる。
アライメント/解釈可能性：言明と内部表現のずれ
出力に現れた合意や判断が、内部で計算されているものと一致しない事例が報告された。Silent Dissent（2610.02702）は多エージェント討論で多数派に屈したエージェントが、事前登録された層で元の推論の中間実体（ブリッジ）を依然として表現していることを Jacobian lens で示し、Qwen3.5-4B では hit@100 が0.85に達する一方、logit lens ではほぼ検出されない（0.00-0.06）。表明された合意は実際の一致を過大評価しうると結論する。Clinical Concept Centers in LLMs（2610.02829）は、試した11のオープンモデルすべてで臨床概念に対応する局在した表現を見出し、それに沿った steering が下流性能を改善すると報告する。Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability（9 upvotes）は、少ないトークンで解かせる効率化訓練が CoT の忠実性と監視可能性を必ずしも損なわないと示す。
評価手法：何を検証できていないかを測る
評価の盲点そのものを対象にする報告が続いた。Science or Slop?（31 upvotes）は部分ごとにはもっともらしい AI 生成論文の質を問い、Where Does Retrieval-Based Open-Ended Evaluation Fail?（7 upvotes）は医療の長文回答に対する検索ベースの事実性検証の失敗を分類体系として自動誘導する。Equal Ranking Quality, Different Decisions（11 upvotes）は、ランキング品質が同じ LLM スコアラーでも候補の並び順によってしきい値判定が変わることを測り、Right Order, Wrong Scale（2610.02492）は職業タスクの判定で、33のジャッジ構成が応答の順序付けでは一致しても受理率の推定は3.0%-97.9%に散らばり、作業者の61.1%と乖離することを示す。TPBench（2610.02736）は対話圧縮が事実を保ちつつ「ユーザーが値を修正したターン」を落とす失敗を、初期目標と現在値を分けて問うことで可視化する。