AgentDoG 1.5が81 upvotesでオープンワールドエージェントの安全性アライメントを軽量フレームワークで実現し、Qwen-VLAがタスク・環境・embodiment横断の統一VLAモデルを提示。OmniRetrieval が異種知識ソースの統一検索で53 upvotesを獲得した。
注目論文
AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
著者: Dongrui Liu, Yu Li, Zhonghao Yang et al.
OpenClawのようなオープンワールドエージェントが持つ広範な安全リスクに対応する、軽量かつスケーラブルなアライメントフレームワークを提案した研究(81 upvotes)。フロンティアAIモデルが攻撃障壁を劇的に下げる現状に対し、実運用可能なエージェント安全性の枠組みを提供する。
新規性: 既存のエージェントアライメントフレームワークは、クロス環境実行能力を持つ現代のオープンワールドエージェントが導入する広範な新規リスクソースに対して不十分である。AgentDoG 1.5は軽量性とスケーラビリティを両立させながら、多様なリスクカテゴリに対応する初の包括的フレームワークとして設計されている。
手法: エージェントの行動空間全体にわたる安全性制約を軽量なモジュールで実装し、環境横断でスケールする設計を採用する。フロンティアモデルによる攻撃の容易化に対抗するため、デプロイ時の安全性検証とランタイム制約を統合的に扱う。
Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
著者: Qiuyue Wang, Mingsheng Li, Jian Guan et al.
操作・ナビゲーションなど個別タスクに特化した従来のembodied AIモデルの断片化を解消し、タスク・環境・ロボット embodiment横断で汎化する統一Vision-Language-Actionモデルを提案した研究(72 upvotes)。
新規性: 具現化知能は従来、個別タスクごとの専門モデルとして研究されており、タスク間・環境間・embodiment間での能力の断片化と限定的な汎化が課題であった。Qwen-VLAは異種の具現化意思決定を単一のVLAモデルで統一的に扱える初の大規模な試みであり、断片化問題に正面から取り組む。
手法: Vision-Language-Actionの3モダリティを統一的にモデリングし、多様なタスク(操作、ナビゲーション等)、環境、ロボットプラットフォームからの異種データで学習する。統一的な入出力フォーマットにより、新しいタスクや環境への転移が容易になる設計を実現している。
OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources
著者: Jinheon Baek, Soyeong Jeong, Sangwoo Park et al.
非構造化テキスト、リレーショナルテーブル、知識グラフ、プロパティグラフなど構造的に多様な知識ソースを単一モデルで統一的に検索するリトリーバーを提案した研究(53 upvotes)。
新規性: 実世界の情報ニーズは構造的に多様な知識ソースへのアクセスを必要とするが、既存のリトリーバーは一度に1つのソースのみを固定クエリ言語で操作する。OmniRetrieval は異種ソースの統一検索という未解決問題に初めて包括的に取り組み、ソースタイプに依存しない単一の検索インターフェースを実現する。
手法: テキスト・テーブル・知識グラフ・プロパティグラフといった異種の知識表現を統一的な埋め込み空間にマッピングし、クエリ言語の違いを吸収する。ソースの構造的特性を保持しつつ、単一のリトリーバーで横断的な検索を可能にする設計を採用している。
minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
著者: Min Zhao, Hongzhou Zhu, Bokai Yan et al.
動画拡散基盤モデルをリアルタイムインタラクティブな世界モデルに転換するためのフルスタックOSSフレームワークを提案し、制御可能・因果的・低遅延ロールアウトを実現した研究(39 upvotes)。
新規性: 動画拡散基盤モデルは高品質な動画生成で顕著な進歩を遂げているが、リアルタイムインタラクティブな世界モデルへの転換は依然として困難である。インタラクティブ世界モデルは制御可能性、因果性、低遅延ロールアウトを要求し、実際にはこれらの要件を同時に満たす統合的なフレームワークが存在しなかった。
手法: 動画拡散モデルをベースに、因果的な生成(過去のフレームに基づく逐次生成)、ユーザー入力による制御可能性、低遅延推論を統合的に実現するフルスタックアーキテクチャを設計する。OSSとして公開することで、インタラクティブ世界モデル研究の再現性と発展を促進する。
EarlyTom: Early Token Compression Completes Fast Video Understanding
著者: Hesong Wang, Xin Jin, Lu Lu et al.
動画LLMの大量の視覚トークンによる非効率性を、早期段階でのトークン圧縮により解決し、極めて低いトークン保持率でも高い理解性能を維持する手法を提案した研究(23 upvotes)。
新規性: 動画LLMは強力な動画理解能力を示すが、大量の視覚トークン処理による非効率性が実用的デプロイを妨げている。既存手法は極めて低いトークン保持率を達成しているが、その代償として理解性能が劣化する。EarlyTomは早期圧縮という戦略により、低保持率と高性能の両立を実現する。
手法: 視覚トークンの処理パイプラインの早期段階で圧縮を適用し、後段の計算コストを大幅に削減する。早期段階での情報集約により、冗長なトークンを除去しつつ意味的に重要な情報を保持するメカニズムを実現している。
UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering
著者: Yingdong Shi, Ruiming Zhang, Changming Li et al.
LLMの活性化空間においてフローマッチングを用いたテキストガイド型ステアリング手法を提案し、ペルソナやスタイルなどの行動制御を柔軟かつ統一的に実現した研究(19 upvotes)。
新規性: 活性化ベースの制御はLLMの内部表現に推論時介入する有効なパラダイムとして確立されているが、既存手法は固定されたステアリング方向やタスク固有の設計に依存し、多様な制御目標への汎用的な対応が困難であった。UniSteerはフローマッチングを活性化空間に導入し、テキスト指示から任意の行動変更を実現する統一的な枠組みを提供する。
手法: テキストで指定された制御目標(ペルソナ、スタイル等)を条件として、活性化空間内でのフローマッチングにより最適な介入方向を動的に生成する。固定方向ではなく、入力テキストに応じて適応的にステアリングベクトルを生成するため、新しい制御目標への汎化が可能になる。
Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
著者: Jiapeng Zhu, Jianxiang Yu, Yibo Zhao et al.
LLMエージェントの汎用スキルとタスク固有スキルの内在化・活用を統合し、エージェント強化学習における分布外汎化を大幅に向上させた研究(16 upvotes)。
新規性: 明示的スキルによるLLMエージェントの強化は有望なパラダイムだが、エージェントスキルは広範な認知転移のための汎用スキルと動的実行のためのタスク固有スキルに本質的に分離される。既存手法はこの2種類のスキルを統合的に扱えず、分布外タスクでの汎化に限界がある。Skill0.5は両者の内在化と活用を統合的に最適化する初のアプローチである。
手法: 汎用スキル(広範なタスクに転移可能な認知的能力)とタスク固有スキル(特定タスクの動的実行に必要な能力)を同時に学習・活用するフレームワークを設計し、強化学習による最適化で分布外タスクへの汎化を実現する。
Xetrieval: Mechanistically Explaining Dense Retrieval
著者: Zhixin Cai, Jun Bai, Yang Liu et al.
密検索モデルが高い関連スコアを付与する内部メカニズムを機械的に解明し、表面的な説明(語彙一致、トークンアライメント等)を超えた深い理解を提供する研究(15 upvotes)。
新規性: 密検索モデルがなぜ高い関連スコアを付与するかの説明は、不透明な高次元埋め込みを通じた検索判断のため困難である。既存の説明は語彙一致やトークンアライメント等の表面的信号に焦点を当てており、モデル内部の真のメカニズムを捉えていない。Xetrievalはこの問題に機械的解釈可能性の手法で初めて取り組む。
手法: 密検索モデルの内部表現と計算過程を機械的解釈可能性の技法で分析し、関連スコアの生成に寄与する内部メカニズムを特定する。表面的な事後説明ではなく、モデルの計算グラフに基づく因果的な説明を提供する。
When Should Models Change Their Minds? Contextual Belief Management in Large Language Models
著者: Haoming Xu, Weihong Xu, Zongrui Li et al.
長期的なインタラクションにおいてLLMが蓄積する情報を適切に更新・保持・無視する能力をContextual Belief Management(CBM)として定式化し、形式的証拠に基づく信念状態の維持を研究した論文(14 upvotes)。
新規性: 長期インタラクションでは言語モデルが蓄積情報を管理する必要がある(いつ状態を更新し、いつ保持し、何を無視するか)。この課題をCBMとして定式化し、形式的証拠に整合した予測信念状態の維持を要求する。これはLLMの長期運用における根本的な信頼性問題に初めて体系的に取り組む。
手法: 蓄積される情報に対して、形式的証拠に基づいて信念状態を更新すべきか保持すべきかを判断するフレームワークを設計する。文脈依存的な信念管理により、矛盾する情報の適切な処理と、信頼性の高い長期的状態維持を実現する。
Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
著者: Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen et al.
RLがSFTよりも壊滅的忘却に強い理由を、内部計算回路の保存度という機械論的レベルで初めて解明した研究。行動レベルの観察を回路レベルの証拠で裏付ける。
新規性: LLMのファインチューニングにおける壊滅的忘却は既知の問題であり、RLがSFTより既存能力を保持しやすいことも行動レベルでは示されていた。しかし、その理由が内部計算回路のレベルでどのように説明されるかは未解明であった。本研究はdifferential circuit vulnerabilityという指標を導入し、回路保存の観点からRLの優位性を機械論的に実証する。
手法: ヘッドレベルの回路脆弱性指標を導入し、RL適応とSFT適応でベースモデルの回路がどの程度破壊されるかを比較する。SFTはターゲットタスクへの適応が速い一方で回路破壊が大きく、RLは回路保存と引き換えに適応が遅いという明確なトレードオフを機械論的に実証している。
分野別の動向
エージェント安全性・アライメント
AgentDoG 1.5(81 upvotes)がオープンワールドエージェントの安全性アライメントを包括的に扱い、同日のarXivではCOLAGUARD(Robust and Efficient Guardrails with Latent Reasoning)が潜在推論による高効率ガードレールを提案した。The Chain Holds, the Answer Folds(Trace-Answer Dissociation)が推論モデルの新たな脆弱性モード(思考連鎖は正しいが出力が誤る「不誠実な屈服」)を発見し、Alignment Tamperingが RLHFの選好データセットへのLLM自身の影響という構造的脆弱性を指摘した。前回のScientistOneが自律研究エージェントの検証可能性に注力したのに対し、今回はエージェントのランタイム安全性(AgentDoG 1.5)と推論モデルの構造的脆弱性(Trace-Answer Dissociation)という、よりデプロイ時に近い安全性課題に焦点が集まっている。
具現化知能・ロボティクス
Qwen-VLA(72 upvotes)がタスク・環境・embodiment横断の統一モデルを提示し、DynaFLIP(2 upvotes)がロボット操作のための三モーダル動的表現学習を提案した。前回のGEMがテキスト監督と低レベル操作のギャップを生成的監督で埋めるアプローチだったのに対し、Qwen-VLAはより上位の抽象化として異種タスクの統一的モデリングに取り組んでおり、具現化知能研究が個別最適化から統一的基盤モデルへと移行する流れが明確になっている。
検索・情報アクセス
OmniRetrieval(53 upvotes)が異種知識ソースの統一検索、Xetrieval(15 upvotes)が密検索の機械的解釈、CoHyDE(1 upvote)がLLMリライターとエンコーダの反復共訓練によるツール検索を提案した。Is Position Bias in Dense Retrievers(11 upvotes)が密検索の位置バイアスの起源をデータ側に帰属した。検索分野では「なぜ検索が機能するか」の理解(Xetrieval, Position Bias)と「何を検索できるか」の拡張(OmniRetrieval)が同時に進展しており、検索の基盤的理解と応用範囲の両面が深化している。
動画生成・世界モデル
minWM(39 upvotes)がリアルタイムインタラクティブ世界モデルのフルスタック実装、EarlyTom(23 upvotes)が動画LLMの視覚トークン早期圧縮、YoCausal(32 upvotes)が動画拡散モデルの因果理解を因果性の観点から評価するベンチマークを提案した。CollectionLoRA(49 upvotes)が50種のビジュアルエフェクトを単一LoRAに収集するマルチ教師蒸留を実現した。前回のTriplet-Block Diffusion RWKVが因果モデルと拡散の融合アーキテクチャに注力したのに対し、今回はインタラクティブ性(minWM)と効率性(EarlyTom)という実用的要件と、因果理解の評価(YoCausal)という検証面の両方が進展している。
LLM内部理解・解釈可能性
Mechanistic origins of catastrophic forgetting がRLとSFTの回路保存差を機械論的に実証し、MechELK(arXiv)がSAEと活性化パッチングによる潜在知識抽出フレームワークを提案した。What are They Thinking?がLLM内部概念のプロービング・追跡を低コストで実現する手法を開発し、Large language models reorganize representational geometry during ICLがICLにおける表現空間の幾何学的再編成を実証した。Representation Alignment Rests on Linear Structure(arXiv cs.LG)が線形表現仮説とプラトン表現仮説の関係を統計的枠組みで解明した。前回のSAERLがモデル内部信号のデータエンジニアリング応用を提案したのに対し、今回は回路保存(forgetting)、潜在知識抽出(MechELK)、表現幾何(ICL)と、内部理解の多角的な深化が見られる。
LLM制御・ステアリング
UniSteer(19 upvotes)が活性化空間でのフローマッチングによる汎用的LLMステアリングを実現し、Thinking Before Constraining(3 upvotes)が自由生成と制約付きデコーディングを統合するフレームワークを提案した。Reducing Political Manipulationが一貫性訓練による政治的バイアスの軽減を、CBM(14 upvotes)が長期インタラクションでの信念管理を定式化した。LLMの出力制御が、固定方向のステアリングから文脈適応的な制御へ、また単一ターンの制御から長期的な信念管理へと、複雑化・長期化する方向に進化している。