Skill0.5がエージェントRLにおける汎用・タスク固有スキルの統合的内在化を提案し21 upvotesを獲得。Xetrievalが密検索の判断根拠を機械的に解明し17 upvotes、RUBRIC-ARROWが非検証可能領域での報酬モデリングを前進させた。
注目論文
Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
著者: Jiapeng Zhu, Jianxiang Yu, Yibo Zhao et al.
LLMエージェントに明示的なスキルを付与するパラダイムにおいて、汎用スキル(広範な認知的転移用)とタスク固有スキル(動的実行用)を統合的に内在化・活用するフレームワークを提案した研究(21 upvotes)。
新規性: 既存のスキルベースエージェント研究では汎用スキルとタスク固有スキルが別々に扱われ、分布外(OOD)タスクへの汎化が困難だった。Skill0.5はこれらを統合的に内在化することで、未知のタスクへの汎化能力を向上させる初の枠組みを提示する。
手法: 汎用スキルをモデルのパラメータに内在化させつつ、タスク固有スキルを動的に選択・実行する二層構造を採用。強化学習によるスキル活用と内在化の同時最適化により、OOD環境でのロバストな行動生成を実現する。
Xetrieval: Mechanistically Explaining Dense Retrieval
著者: Zhixin Cai, Jun Bai, Yang Liu et al.
密検索器が高い関連性スコアを付与する理由を、不透明な高次元埋め込みの内部メカニズムから解明する研究(17 upvotes)。
新規性: 既存の検索説明手法は語彙的一致、トークンアラインメント、事後的テキスト理由付けなどの表層的シグナルに焦点を当てており、モデル内部の真の判断メカニズムを捉えていなかった。Xetrievalは検索判断の機械的解釈可能性を提供する初のフレームワークである。
手法: 密検索器の内部表現を機械的に分析し、高次元埋め込み空間における関連性スコアの生成過程を構造的に解明する。表層的なパターンマッチングではなく、モデルの内部計算プロセスに立ち入った説明を生成する。
Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation
著者: Chenghao Zhang, Guanting Dong, Yufan Liu et al.
LLMによるディープリサーチ(散在するエビデンスを長文レポートに統合する自律エージェント)の検証可能性を高めるマルチエージェントハーネスを提案した研究(10 upvotes)。
新規性: ディープリサーチはディープサーチ(簡潔な事実回答の検索)から進化した領域だが、開放的な統合における検証可能性、特にマルチモーダルコンテキストでの検証が困難だった。本研究はインターリーブ型レポート生成における検証可能性の課題に正面から取り組む。
手法: 複数のエージェントが協調してエビデンスの収集・検証・統合を行うハーネス構造を設計。レポート生成過程で各主張の根拠を追跡可能にし、マルチモーダルなエビデンスを交互に織り込んだ検証可能なレポートを生成する。
RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains
著者: Haoxiang Jiang, Zihan Dong, Tianci Liu et al.
主観的・非検証可能な設定でのLLM事後訓練に向けた、ルーブリックベースのポイントワイズ報酬モデリング手法を提案した研究(9 upvotes)。
新規性: ポイントワイズ報酬モデリングはLLM事後訓練に不可欠だが、主観的な非検証可能ドメインでは絶対スコアリングが困難である。既存のルーブリック手法はフロンティアLLMに依存しスケーラビリティに欠けていた。RUBRIC-ARROWはこの依存を排除しつつ高品質な報酬信号を提供する。
手法: 評価を明示的な基準(ルーブリック)に分解し、交互ポイントワイズ評価を通じて報酬モデルを訓練する。フロンティアLLMへの依存なしに、非検証可能領域でも信頼性の高い報酬信号を生成可能にする。
REPOT: Recoverable Program-of-Thought via Checkpoint Repair
著者: Parsa Mazaheri
Program-of-Thought(PoT)の単一無効アクションが軌道全体を無効化する問題に対し、チェックポイントベースの決定論的検証・修復メカニズムを導入した研究(6 upvotes)。
新規性: ワンショットPoTはPythonプログラムを生成しプリミティブアクション計画を出力するが、1つの無効アクションが暗黙に軌道全体を無効化する脆弱性があった。RePoTは検証済みリプレイにより最初の無効遷移を検出し、そこからの回復を可能にする。
手法: 生成された計画を環境上で決定論的にリプレイし、最初の無効遷移を特定。そのチェックポイントから計画を修復することで、全体の再生成を回避しつつ実行可能な軌道を復元する。
Verifiable Rewards Beyond Math and Code: Lightweight Corpus-Grounded Process Supervision for Factual Question Answering
著者: Shicheng Fan, Haochang Hao, Dehai Min et al.
知識集約型質問応答における事実正確性向上のため、コーパスに基づく軽量プロセス監督を提案した研究(6 upvotes)。
新規性: 強化学習による事実正確性の改善は報酬設計のジレンマに直面する。応答レベルの報酬は粗く、推論トレース内の正誤を区別できない。文レベルの代替案はコストが高い。本研究はコーパスに接地した軽量な中間粒度の報酬を提供する。
手法: 推論トレースの各ステップをコーパスに照合し、プロセスレベルで事実性を検証する監督信号を生成する。数学やコードのような形式的検証が困難な知識集約型ドメインでも、検証可能な報酬信号を低コストで提供する。
分野別の動向
エージェント・スキル学習
Skill0.5(21 upvotes)が汎用スキルとタスク固有スキルの統合的内在化を提案し、エージェントの分布外汎化を前進させた。REPOT(6 upvotes)がPoTの脆弱性をチェックポイント修復で解決し、Discovering Cooperative Pipelines(1 upvote)が社会的ジレンマにおけるLLMパイプラインの自動設計を探索した。エージェント研究が「能力の拡張」から「ロバスト性と汎化」へとフォーカスを移しつつある。
検索・情報検索
Xetrieval(17 upvotes)が密検索の判断根拠を機械的に解明し、表層的説明を超える解釈可能性を実現した。検索分野では前日のOmniRetrieval(検索対象の拡張)に続き、「なぜその結果を返すのか」の理解が深化している。
LLM訓練・報酬設計
RUBRIC-ARROW(9 upvotes)が非検証可能領域の報酬モデリング、Verifiable Rewards Beyond Math and Code(6 upvotes)が知識集約型QAのプロセス監督を提案した。数学・コード以外の領域での検証可能な報酬設計が複数同時に登場しており、RLHFの適用範囲拡大に向けた基盤整備が進んでいる。
マルチモーダル・ディープリサーチ
Towards Verifiable Multimodal Deep Research(10 upvotes)がマルチエージェント型の検証可能レポート生成を提案した。WorldMemArena(7 upvotes)がエージェント記憶の動的評価を設計し、ChildVox(5 upvotes)が小児音声の発達軌跡ベンチマークを構築した。ディープリサーチの「生成できる」から「検証できる」への転換が鮮明である。
3D・4D生成
PhyGenHOI(8 upvotes)が物理的に正確な4D人物-物体インタラクション生成、NeuROK(6 upvotes)が生成的4D物体キネマティクス、Multi-view Consistent 3D Gaussian Head Avatars(4 upvotes)がマルチビューデータ不要の3Dヘッドアバター生成を提案した。3D/4D生成が静的再構成から動的インタラクションの物理的正確性へと段階を進めている。
LLMアーキテクチャ・効率化
Parallax(5 upvotes)がノンパラメトリック統計に基づくローカル線形アテンションを提案し、CONF-KV(4 upvotes)が信頼度ベースのKVキャッシュ削減を設計した。Why Larger Models Learn More(5 upvotes)がスケーリング則の背後にある容量・干渉・希少タスク保持の効果を分析した。効率化研究が個別のトリックから理論的裏付けのある設計原理へと成熟しつつある。