言語化を伴わない再帰的潜在推論モデルBDH-CQが239 upvotesで首位。自らのコアを書き換えるOuroboros、配備後も学び続けるMacaron-V1、飽和したSWE-benchを刷新するProMaxが続き、エージェントが自分自身と評価基盤を作り替える一日となった。
注目論文
BDH-CQ: In-Context Learning with Recurrent Latent Reasoning
著者: Björn Engdahl, Adrian Kosowski, Jan Chorowski et al.
文脈内学習と再帰的な潜在推論を組み合わせた推論モデルである（239 upvotes）。推論時に提示された入力がモデルの再帰的メモリを継続的に更新し、モデルは高次元の潜在空間における反復計算を通じてクエリを解く。
新規性: 思考連鎖のように推論過程を言語化することなく、潜在空間の反復だけで問題を解く点が中核である。現在の推論モデルがトークン列として思考を外化する設計に依存しているのに対し、計算量を言語化の長さから切り離す方向を示す。
手法: 推論時入力によって連続的に更新される再帰的メモリを持ち、高次元潜在空間での反復計算によってクエリへ到達する構成をとる。
Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA
著者: Mind Lab, Vin Bo, Asher Cai et al.
実環境での経験から学び、配備後も学習を続ける「経験的知能」を目指したオープンなエージェントモデル群である（189 upvotes）。二つのシステム目標を軸に組み立てられており、適応はバージョン管理されたモデルとハーネスの対の再帰的改善によって追求される。
新規性: モデル単体ではなく「モデルとハーネスの対」をバージョン管理し、その対を改善対象とする点が特徴である。エージェントの能力がモデル重みだけでなく足場の設計に強く依存する現状を、改善の単位そのものへ反映させている。著者は80名を超える大規模な共同研究である。
手法: Mixture-of-LoRAによる継続学習と自己改善を組み合わせ、経験を蓄積しながらモデルとハーネスの対を再帰的に更新する。
SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
著者: Yuling Shi, Jinghan Xu, Kelin Fu et al.
AIコーディングエージェントが長期ホライズンのソフトウェア工学タスクを担うようになるにつれ、既存ベンチマークは急速に飽和しつつある（116 upvotes）。加えて評価品質そのものが疑問視されており、ある監査によればSWE-bench Verifiedの未解決事例のうち約60%に不備のあるテストが含まれていた。
新規性: スコアの伸びしろだけでなく、既存ベンチマークの正解判定そのものが壊れているという監査結果を出発点にしている点が重要である。エージェント研究の進捗が測定器の欠陥に汚染されている可能性に、代替の測定器で応じる試みといえる。
手法: 大規模かつ多言語のコードリファクタリングを課題として設定し、飽和した既存スイートに代わる評価基盤を構築する。
Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution
著者: Anton Razzhigaev, Andrei Gritsaev, Andrei Kaznacheev et al.
ツール、プロンプト、コンテキスト構築、そしてコア実装そのものを、レビュー済みのコミットを通じて改善していく自己開発型エージェントハーネスである（66 upvotes）。改善されたコミットは、それ以降の作業のランタイムとして実際に使われる。
新規性: 自己改変の結果がそのまま次の実行環境になるという閉ループを、レビューという関門付きで回している点が貢献である。無制限な自己書き換えではなく、コミットレビューを安全弁として組み込んだ設計になっている。
手法: コア進化を二つのモードで進める。再帰的自由進化では改善そのものがタスクとなり、その完了が次の実行環境を規定する。
On-Policy Self-Distillation without Any Supervision
著者: Yijiang Li, Bingyang Wang, Yijun Liang et al.
On-policy自己蒸留（OPD / OPSD）はLLMの事後訓練で強い可能性を示してきたが、既存手法は外部監督への依存を残していた（49 upvotes）。正解信号、環境からのフィードバック、あるいはより大きなモデルからの指導のいずれかが必要とされてきた。
新規性: 三種の外部監督をすべて外した状態で自己蒸留を成立させようとする点が中核である。教師モデルを用意できない、あるいは正解を定義できない領域へ事後訓練を広げる経路になりうる。
手法: 外部監督を用いないOn-policy自己蒸留の枠組みを構成し、既存手法が依存してきた監督信号を置き換える。
Motif 3: Technical Report
著者: Junghwan Lim, Joon Son Chung, Sungmin Lee et al.
総パラメータ314B、トークンあたり13.2Bを活性化するデコーダ専用のMixture-of-Expertsモデルである（31 upvotes）。各スパースMoE層は384のルーテッドエキスパートを持ち、トークンごとに8つが選択される。
新規性: 細粒度スパース性の徹底が特徴である。エキスパート数を384まで増やしつつ選択数を8に抑えることで、大きなエキスパート容量を確保しながら活性パラメータを限定する設計になっている。
手法: 384ルーテッドエキスパート・top-8選択の細粒度MoE層を積み、314B総パラメータに対して13.2Bのみを活性化する。
Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory
著者: Taeil Kim, Kangsan Kim, Sung Ju Hwang
記憶システムはエージェント性能の改善に有望だが、小規模言語モデルにおける可能性はほとんど検討されてこなかった（31 upvotes）。小モデルは十分な成功軌跡を自力で生成できず、記憶に蓄えるべき素材そのものが不足するためである。
新規性: 小モデルの弱点を「記憶機構がない」ことではなく「記憶すべき成功体験を作れない」ことと診断した点が鋭い。訓練不要の枠組みであるため、追加の学習コストなしに階層的な教師メモリを移植できる。
手法: 階層的な教師メモリを小規模LLMエージェントへ転移する訓練不要の枠組み（AMD）を提案する。
Stealing Reasoning Traces from Proprietary LLM APIs
著者: Alexander Panfilov, David Schmotz, Ilia Shumailov et al.
主要なLLMプロバイダは、知的財産の保護と情報漏洩の抑制のためにモデルの思考連鎖を隠蔽している（30 upvotes）。ただしそのトレースはサーバ側に保持されるのではなく、暗号化されたテキストブロックとしてクライアントへ返送されている。
新規性: 隠蔽の実装が「見せない」ではなく「暗号化して手渡す」形式である点に着目し、そこから推論トレースを復元しうると示した点が貢献である。商用APIの秘匿設計に対する具体的な脅威モデルを提示している。
手法: クライアントへ返される暗号化された思考連鎖ブロックを対象に、隠蔽されたはずの推論トレースの復元可能性を検証する。
OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching
著者: Can Xiao, Sukmin Cho, Junbong We et al.
LLM推論のサービングは、計算よりもメモリによって制約されるようになってきた（16 upvotes）。長文脈と長い推論生成の負荷が一般化するにつれ、KVキャッシュがデコード時のメモリ使用量とメモリ帯域の双方を支配するようになる。
新規性: KVキャッシュをHBM内で圧縮するのではなく、HBMの外へ拡張するという方向をとる点が特徴である。先読みによってスパースなプリフェッチを成立させ、外部メモリへの退避が持つレイテンシ上の不利を隠蔽する。
手法: 先読みスパースプリフェッチにより、デコード時のKVキャッシュをHBMを越えて配置する。
Scaling Inherently Interpretable Language Models
著者: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail et al.
解釈可能性は能力への課税として扱われがちである（13 upvotes）。言語モデルは不透明なシステムとして訓練され、その後に信頼性の確立が難しい手法で事後説明される。本研究はこの前提に異議を唱え、解釈可能性を訓練パイプラインの制約として言語モデリング目的と同時に最適化する。
新規性: 三桁にわたる計算規模で、自己回帰・拡散の双方の言語モデルにおいて、解釈可能性が能力と相反せず共にスケールすると示した点が重要である。表現がスケールとともに人間に理解可能な概念へより整合し、より分離されていくという結果は直観に反する。
手法: 因果的注意マスクを持つ拡散言語モデルSteerling-8Bとして具体化する。生成トークン群を入力トークン・人間可読な概念・訓練データへ帰属させ、概念ステアリングによる再訓練なしの挙動修正という閉ループ介入を可能にする。2〜16倍の計算量で訓練された同種のオープンモデルと競合する性能を保つ。
Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions
著者: Chenrui Fan, Yize Cheng, Ming Li et al.
推論モデルは性能向上のためにテスト時計算を投入するが、既存の評価はその計算を一問ずつ切り離して扱ってきた。複数の問題が単一のコストやレイテンシ制約を共有する場合、モデルは限られた推論計算をどう配分するかを決めなければならない。
新規性: 「一問あたりの思考量」ではなく「複数問への予算配分」という能力を独立した評価軸として切り出した点が貢献である。従来の一問単位の評価では捉えられない失敗が可視化される。
手法: 難易度と配点が異なる複数問へ共有トークン予算を配分し総得点を最大化させる試験形式の評価枠組みを構成する。オープン・フロンティアの複数の推論モデルは貪欲な逐次解答器として振る舞い、提示順で優先度を決め、前半の問題に労力を集中させ、配点に鈍感なままだった。この傾向は問題数が増えるほど顕著になり、明示的な計画プロンプトは計算を均等化するものの、価値や難易度に応じた優先付けは生まなかった。
分野別の動向
自己改変とエージェントの進化
エージェントが自分自身を書き換えるという主題が、この日の上位を占めた。Ouroboros（66 upvotes）はツール・プロンプト・コンテキスト構築・コア実装をレビュー済みコミットとして改変し、そのコミットが後続作業のランタイムになるという閉ループを構成する。Evo-Bench（10 upvotes）は同じ問題を評価側から扱い、静的なタスク解決に留まる標準評価に対し「ハーネス進化」すなわちエージェントが自らの動作基盤を最適化する能力を体系的に測ろうとする。arXiv側ではMendel Gödel Machine（2608.07645）が、既存の自己改変が単一の失敗軌跡のみに依拠し、過去の試行アーカイブに眠る比較信号を見落としていると指摘し、複数タスクの軌跡を同時に参照する反応規範変異と、別系統のエージェントの軌跡を参照する交雑を導入した。Towards Researcher Agents（2608.07700）も、検証セットでの推論の後に自らのプロンプト・ルール・ツール連携コードの変更を提案し検証する研究者エージェントを実装している。自己改変が単発の技法から、比較・レビュー・評価を伴う工学的な設計対象へ移りつつある。
推論の様式と計算配分
BDH-CQ（239 upvotes）が示すのは、思考を言語化せず高次元潜在空間の反復計算として実行する経路である。推論時の入力が再帰的メモリを継続的に更新するという構成は、思考連鎖の長さで計算量を測る現在の設計とは異なる軸を置く。計算の配分そのものを問う研究も現れた。Thinking Hard, Not Smart（2608.07968）は、複数問が単一の予算を共有する状況で推論モデルが貪欲な逐次解答器として振る舞い、提示順に引きずられて配点に鈍感なまま前半へ労力を集中させることを示す。arXiv側ではCommitment Before Realization（2608.08082）が拡散言語モデルにおけるclassifier-free guidanceの必要性を時間軸で分解し、多くのプロンプトでは早期に「コミットメント地平」を越えた後はベースモデルへ切り替えても成功率が落ちないと報告した。いずれも、推論時計算を一律に積むのではなく、どこへどれだけ割くかを問う方向にある。
蒸留と継続学習
外部監督への依存を外す動きが目立った。On-Policy Self-Distillation without Any Supervision（49 upvotes）は、正解信号・環境フィードバック・大規模教師のいずれにも頼らない自己蒸留を目指す。SPOT（16 upvotes）は逆方向から同じ領域を詰め、標準的な逆KL訓練が他の妥当な継続へ十分な確率を割り当てられない問題に対し、疎なプロービングと結果較正を組み合わせる。Agent Memory Distillation（31 upvotes）は、小モデルが成功軌跡を自力生成できないという素材不足を、階層的な教師メモリの訓練不要な移植で埋める。Macaron-V1（189 upvotes）はこれらを配備後まで延長し、Mixture-of-LoRAによる継続学習でモデルとハーネスの対を再帰的に改善する。arXivのEfficient Knowledge Distillation for LLMs（11 upvotes）はオフラインTop-Kロジットと融合チャンクKL損失で蒸留の復元段階そのものを詰めており、蒸留がレシピの一部から独立した工学対象へと分化している。
評価基盤の信頼性
測定器そのものを疑う研究が続いている。SWE-Bench ProMax（116 upvotes）は、SWE-bench Verifiedの未解決事例の約60%に不備テストがあるという監査を出発点に、大規模多言語リファクタリングで評価を組み直す。Gaming Without an Attacker（2 upvotes）は攻撃者の存在を仮定せずとも、評価信号に対して最適化されたシステムでは選択圧だけでベンチマークの指紋化が起こると、二つのGPUカーネル最適化スイートで具体的に記録した。arXiv側ではWhen Does Trace-Driven Evaluation Mislead MoE Expert Caching?（2608.07911）が、同一のイベント列でも再生の粒度を変えるだけで再帰型ポリシーの評価が27〜29%膨らみ、方策の順位が反転すると示す。TeXFix-Bench（2608.07617）も、コンパイル成功率だけでは修復品質を過大評価すると指摘し、成功した修復のうち13.6〜18.5%が文書本文を実質的に改変していたと報告した。SurveyReview（2608.07641）は判定器の側を人間査読者へ整合させる方向から同じ問題に取り組む。
効率化とメモリ
推論のボトルネックがメモリへ移ったことを前提とする研究が並んだ。OasisKV（16 upvotes）は先読みスパースプリフェッチでKVキャッシュをHBMの外へ拡張し、SPECTRA（2608.07915）はキャッシュを自身の統計から求めた座標系へ回転させることで、相関の除去後に少数のチャネルが情報の大半を担うと示し、2bitの崖を越える圧縮を実現した。CommitKV（2608.07855）はマルチターンエージェント特有の構造を使い、ツール呼び出しのコミット前後で削除影響を比較することで「一時的に休眠中」の情報と「役割を終えた」情報を区別する。Archer（2608.08086）は拡散言語モデルのロールバック能力とKVキャッシュの前提が衝突する問題を、プロンプト側の限定的な再利用で解いた。MoE側ではLorExperts（2608.07814）とRouter Sensitivity（2608.07890）が、それぞれエキスパートのクラスタ化と、軽量ファインチューニング時のルータ変化を手がかりとする枝刈りを提案している。
解釈可能性と安全性
Scaling Inherently Interpretable Language Models（13 upvotes）は、解釈可能性を事後説明ではなく訓練時の制約として組み込み、それが能力と相反せずスケールすると示した。When Activation Oracles Learn Not to Read（13 upvotes）は逆に、他モデルの内部活性について自然言語で答えるよう訓練されたオラクルに概念固有の盲点が生じることを報告する。SymDiag（2 upvotes）は、最終回答が正しくても思考連鎖が不誠実でありうる問題に対し、回答一致やLLM-as-judgeでは診断にならないとして神経記号的検証を持ち込む。安全性側ではStealing Reasoning Traces（30 upvotes）が、暗号化して返送される思考連鎖ブロックからの復元可能性という具体的な脅威を提示した。arXivのThe Knowing-Saying Gap（2608.07528）は、線形プローブが文脈の汚染をほぼ完璧に検出できるにもかかわらず、それが最終回答の正誤予測にはつながらないという乖離を示し、プローブによる監視が言語化された確信度の必要な補完ではあるが単独では足りないと結論している。