MoEルーターの多様体べき乗反復による根本的改善が74 upvotesで最注目。仮説木精錬による自律研究エージェント、エージェント環境工学のサーベイ、Claw-SWE-Benchの汎用エージェント評価が続き、RL trust-region制御の非均一化やサブ二乗アーキテクチャの体系比較も注目を集めた。
注目論文
Redesign Mixture-of-Experts Routers with Manifold Power Iteration
著者: Songhao Wu, Ang Lv, Ruobing Xie et al.
MoEモデルのルーター行列がエキスパートを適切に符号化できていない根本的問題を指摘し、多様体べき乗反復によるルーター再設計を提案した研究（74 upvotes）。
新規性: ルーター行列の各行はエキスパートの代理として入力との類似度を計算しエキスパート選択を決定するが、理想的にはエキスパート行列の情報を低次元に符号化すべきところ、既存手法ではこの符号化が不十分であった。本研究はルーター設計をエキスパート行列の表現学習問題として再定式化し、多様体上のべき乗反復で最適な符号化を実現する初のアプローチである。
手法: ルーター行列の各行がエキスパート行列の主要な方向を捉えるよう、多様体べき乗反復を適用する。これにより各ルーター行がエキスパートの特性をより忠実に表現し、入力に対するエキスパート選択の精度が根本的に向上する。
Toward Generalist Autonomous Research via Hypothesis-Tree Refinement
著者: Jiajie Jin, Yuyang Hu, Kai Qiu et al.
仮説木の反復的精錬により、AIエージェントが探索・実験・抽象化の科学研究ループを長期間にわたり自律的に実行するフレームワークを提案した研究（68 upvotes）。
新規性: 科学的進歩は候補方向のテスト、証拠の解釈、得られた教訓の次の試行への反映という繰り返しループに依存する。本研究はこのループをAIエージェントが自律的に長期間実行する方法を研究し、仮説を木構造で管理・精錬することで系統的な探索と知識蓄積を両立する。
手法: 候補方向を仮説木として構造化し、各ノードに対する実験結果を証拠として蓄積する。反復的に仮説を精錬・分岐・剪定することで、エージェントが過去の試行から学びつつ新たな探索方向を効率的に選択する。
Agentic Environment Engineering for Large Language Models: A Survey
著者: Jiachun Li, Zhuoran Jin, Tianyi Men et al.
LLMエージェントの環境モデリング・合成・評価・応用を体系的に分類し深く分析した包括的サーベイ（56 upvotes）。
新規性: 環境はLLMエージェントの多様なシナリオにおけるインタラクティブシステムとして機能し、モデル能力の継続的進化を駆動する重要な役割を果たす。しかし既存研究には体系的な分類と深い分析が欠けていた。本サーベイは環境をエージェント研究の中心的対象として位置づけ、初めて包括的な分類体系を提供する。
手法: エージェント環境を「モデリング」「合成」「評価」「応用」の4軸で分類し、各軸における既存手法の強みと限界を分析する。環境設計がエージェント能力にどのように影響するかを多角的に検討している。
Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks
著者: Mengyu Zheng, Kai Han, Boxun Li et al.
OpenClaw型汎用エージェントのコーディング能力をSWE-bench形式で評価するベンチマークを提案した研究（55 upvotes）。
新規性: OpenClawのような汎用エージェントは自律的なツール使用者として活用が進んでいるが、SWE-benchでのコーディング能力評価は困難であった。汎用エージェント単体ではクリーンなDockerワークスペース、パッチ生成、予測出力のコントラクトを満たせないためである。本ベンチマークはこのギャップを埋める初の評価フレームワークを提供する。
手法: 汎用エージェントハーネスがSWE-benchのスコアリング要件を満たせるよう、Dockerワークスペースの管理、パッチ形式の出力、予測コントラクトの遵守を評価する標準化されたベンチマーク環境を構築する。
Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions
著者: Xin Jin, Huanqia Cai, Zhen Li et al.
スカラー報酬の限界を超え、ルーブリックスコアの分布として視覚的選好を表現する報酬モデルを提案した研究（51 upvotes）。
新規性: 報酬モデルはtext-to-imageのポストトレーニングの中核だが、視覚的選好は主観的であり、決定論的スカラーよりもスコア分布として表現するのが適切である。既存のスカラー・スコアトークン・ペアワイズ報酬モデルは不確実性と細粒度スコアの差異を過度に圧縮していた。
手法: ルーブリックスコアの分布として報酬を内部化し、推論プロセスをスコア分布の生成に組み込む。これにより不確実性の表現と細粒度の品質評価を同時に実現し、text-to-imageモデルのポストトレーニングにおける報酬信号の質を向上させる。
TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders
著者: Wei Pang, Xiangru Jian, Hehan Li et al.
異なる訓練パラダイムのテーブルエンコーダを表現レベルで直接比較可能にするマルチ粒度ベンチマークを提案した研究（47 upvotes）。
新規性: テーブルエンコーダは通常タスク固有のエンドツーエンドパイプライン内で評価されるため、異なる訓練パラダイムのモデルが類似のテーブル信号を扱っていても直接比較が困難であった。TRL-Benchはこの問題を解決するマルチ粒度の表現学習ベンチマークを初めて導入する。
手法: テーブルエンコーダの出力表現を複数の粒度で評価する標準化されたフレームワークを構築し、訓練パラダイムに依存しない公平な比較を可能にする。
Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning
著者: Renjie Mao, Xiangxin Zhou, Lvfang Tao et al.
PPO系手法の位置非依存な均一トークンレベルtrust-region制約の問題を指摘し、自己回帰構造に適応した非均一制御を提案した研究（41 upvotes）。
新規性: 既存のPPO系trust-region機構は全トークンに均一な閾値を独立に適用するが、この点ごとの処理は自己回帰生成の本質と矛盾する。前日のRethinking Divergence Regularizationがオフポリシー性の問題を指摘したのに続き、本研究はトークン位置ごとの最適化特性の差異というもう一つの根本的問題を提起する。
手法: 自己回帰生成における各トークン位置の特性を考慮し、位置に応じた非均一な閾値を設定するtrust-region制御を設計する。これにより生成の前半と後半で異なる最適化圧力を適用し、ポリシー更新の安定性と効果を両立する。
Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning
著者: Chaofan Ma, Zhenjie Mao, Yuhuan Yang et al.
一人称映像からの空間推論において、複数視点の再訪問による二段階推論で幾何学的曖昧性を検証可能な証拠により解消する手法を提案した研究（28 upvotes）。
新規性: 一人称映像からの空間推論はカメラ軌跡に制約された観測証拠に依存するため本質的に困難である。既存手法は単一ターン推論に依存し、幾何学的曖昧性を意味的事前知識で解消せざるを得なかった。本研究は検証可能な証拠に基づく二段階推論パラダイムを提案する。
手法: 第一段階で初期推論を行い、第二段階で異なる視点からの観測を再訪問して初期推論を検証・修正する。これにより意味的事前知識への依存を減らし、幾何学的に裏付けられた空間推論を実現する。
DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch
著者: Jiale Zhao, Guoxin Chen, Fanzhe Meng et al.
高水準仕様からソフトウェアリポジトリ全体をゼロから生成する長期間エージェント訓練環境を大規模に構築した研究（27 upvotes）。
新規性: LLMベースのコードエージェントの能力が向上するにつれ、局所的なバグ修正を超えてリポジトリ全体の設計・実装が期待されるようになった。しかし、このような長期間タスクのエージェント訓練に適した環境は不足していた。DeNovoSWEはこのギャップを埋める大規模な訓練環境を提供する。
手法: 高水準な仕様からリポジトリ全体を生成するタスクを定義し、長期間にわたる設計判断・ファイル構成・コード生成を要求する訓練環境を大規模に構築する。エージェントのアーキテクチャ設計能力と実装能力を同時に評価・訓練できる。
On Subquadratic Architectures: From Applications to Principles
著者: Anamaria-Roberta Hartl, Levente Zolyomi, David Stap et al.
xLSTM・Mamba・線形Transformerの3つの主要サブ二乗アーキテクチャを体系的に比較し、効果的な系列モデルの設計原理を明らかにした研究（21 upvotes）。
新規性: Transformerの二次的注意コストに対するスケーラブルな代替としてサブ二乗アーキテクチャが注目されているが、どの設計が最も効果的な系列モデルを生むかは不明であった。本研究は3つの主要アプローチを統一的な枠組みで比較し、設計原理を抽出する。
手法: xLSTM（拡張LSTM）、Mamba（状態空間モデル）、線形Transformerの3アーキテクチャを、複数のタスクとスケールにわたって体系的に評価する。各アーキテクチャの強みと弱みを分析し、効果的なサブ二乗系列モデルの設計指針を導出する。
分野別の動向
MoE・アーキテクチャ設計
本日最も注目を集めたのはMoEルーターの根本的再設計（74 upvotes）であり、前日のKwai Keye-VL-2.0がMoEアーキテクチャの応用を示したのに対し、本日はMoEの中核構成要素であるルーティング機構自体の改善が焦点となった。サブ二乗アーキテクチャの体系比較（21 upvotes）も、Transformerの注意機構の計算コスト問題に対する代替設計の探索が続いていることを示す。SparDAの疎注意による長文推論効率化やRoVEのRotary Position Embeddingsの値経路への拡張など、arXivでも注意機構の改良研究が複数発表されており、アーキテクチャ基盤技術の改善が活発である。
自律研究エージェント
仮説木精錬による自律研究（68 upvotes）とエージェント環境工学のサーベイ（56 upvotes）が高い注目を集めた。前日のRole-AgentやSearchSwarmがエージェントの自己進化・委任知能に焦点を当てたのに対し、本日は科学研究という長期的・探索的タスクへのエージェント適用と、エージェント環境自体の体系的理解が中心テーマとなっている。Claw-SWE-Bench（55 upvotes）は汎用エージェントのコーディング能力評価を標準化し、DeNovoSWE（27 upvotes）はリポジトリ全体生成という野心的な訓練環境を提供しており、エージェント評価基盤の整備が急速に進んでいる。arXivからもTRACEのエージェントRLにおけるロールアウト予算配分やEvoTrainerの自律的訓練ハーネス共進化など、エージェントの訓練効率改善が複数提案されている。
強化学習・報酬設計
非均一trust-region制御（41 upvotes）は前日のRethinking Divergence Regularizationに続き、LLM RLの最適化安定性に関する理論的改善が連日発表されている。スコア分布型報酬モデル（51 upvotes）は報酬信号の表現力そのものを拡張するアプローチであり、スカラー報酬の限界を指摘する研究が増加している。arXivではBreaking Entropy Boundsがマルチトークン予測によるRL訓練のロールアウト高速化を提案し、GRPOベースのProcessThinkerがロールアウトベースのプロセス報酬による密な信用割当を実現するなど、RL訓練パイプライン全体の効率化が多角的に進んでいる。
マルチモーダル・空間推論
Reason, Then Re-reason（28 upvotes）の二段階空間推論は、単一ターン推論の限界を視点の再訪問で克服するアプローチである。arXivからもDRIFTのVLM連続出力デコーディング、Reroute, Don’t Remove（14 upvotes）の視覚トークンルーティング、World Pilot（22 upvotes）のVLAモデルへの世界行動事前知識注入など、VLMの推論効率と物理世界理解の改善が多数提案されている。前日のMemDreamerが長時間動画理解の記憶検索パラダイムを提示したのに続き、マルチモーダルモデルの「効率的な情報アクセス」が共通テーマとなっている。
LLM安全性・評価
Grammar-Constrained Decodingがjailbreakベクトルとなりうることを示した研究（17 upvotes）やPOISEの検出困難なスキル注入攻撃（4 upvotes）など、LLMの安全性に関する新たな攻撃面の発見が続いている。LLMの過信傾向の分析やCalibration Drift Under Reasoningの発見も、安全なデプロイに向けた校正研究の重要性を示す。Do Coding Agents Deceive Us?はエージェント評価におけるショートカット悪用の検出手法を提案しており、エージェント評価の信頼性確保が新たな課題として浮上している。