LLM/NLP最新論文

左脳・右脳を分けたストリーミング記憶VoiceMemが149 upvotesで首位に立ち、動画生成モデルの視覚知能を問うVGI-Bench、科学ワークフロー完遂を測るFrontierChallengeが続いた。多教師on-policy蒸留のスケジューリング改良が複数チームから同時に出され、エージェント評価はベンチマークの粒度を細かく問い直す方向へ動いている。

注目度

注目論文

VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction

著者: Zhifei Xie, Jiaqi Lang, Ze An et al.

デュプレックス音声言語モデル(SLM)をはじめとする対話システムは、ストリーミングで動作し正確かつ共感的な記憶機構を依然として欠いている(149 upvotes)。VoiceMemは、情報を扱う並列な「左脳」と感情を扱う「右脳」、そしてストリーミングの記憶I/O機構からなる単純な記憶アーキテクチャである。

新規性: 対話記憶を単一の検索対象ではなく、情報系と感情系という二系統に分割した点が中核である。従来の記憶システムは「過去に何が語られたか」という事実の保存と検索に最適化されており、話者がどういう情緒的状態にあったかは事実の付随物として扱われるか、そもそも落ちる。リアルタイム音声対話では応答の遅延が許されないため、記憶の書き込みと読み出しがターン境界でバッチ処理されると対話のテンポが崩れる。情報と感情を並列の系統に分けたうえでストリーミングI/Oを備える構成は、記憶を「後から引く辞書」から「対話と同時に走る二重の経路」へ組み替えるものであり、共感性を後付けの生成スタイルではなく記憶構造の側で担保しにいく設計と言える。

手法: 並列な情報記憶(左脳)と感情記憶(右脳)、およびストリーミングな記憶の入出力機構を組み合わせた記憶アーキテクチャを、デュプレックス音声言語モデルに導入する。

Hugging Face Daily Papers

VGI-Bench: Probing Visual Intelligence in Video Generation Models

著者: Xuan He, Cong Wei, Yuhao Cheng et al.

動画生成モデルが生成フレームを通じて一定のゼロショット視覚推論を示しうることが近年報告されているが、その信頼できる評価は依然として困難である(143 upvotes)。ベンチマークは現行の動画モデルの視覚事前分布と整合した入力を採用し、妥当に発展する過程を要求する必要がある。

新規性: 動画生成モデルの推論能力を測るために、評価入力の側を現行モデルの視覚事前分布へ合わせるという設計判断が中核である。生成モデルに推論タスクを与えると、モデルが問題を解けなかったのか、そもそもその入力を描画対象として扱えなかったのかが分離できない——分布外の入力を与えれば、失敗の大半は推論以前の描画失敗になる。事前分布に沿った入力を用意し、かつ「妥当に発展する過程」を要求する構成は、最終フレームの正しさだけでなく途中の状態遷移が物理的・論理的に筋の通ったものかを問うものであり、動画生成を「絵の生成器」から「過程のシミュレータ」として評価する枠組みへ寄せている。VBVR-Proと合わせ、視覚を推論の媒体として扱う評価基盤が同日に複数立ち上がった。

手法: 現行動画モデルの視覚事前分布と整合した入力を用い、妥当に発展する過程を要求する形で、動画生成モデルのゼロショット視覚推論能力を評価するベンチマークを構築する。

Hugging Face Daily Papers

FrontierChallenge: Evaluating Scientific Workflow Completion

著者: Liangcai Su, Zhaopeng Feng, Zhuo Chen et al.

科学エージェントはデータを分析し、コードを実行し、研究成果物を生み出すようになっているが、既存のベンチマークの大半は最終回答・孤立したプログラム・単一分野のいずれかを重視している(129 upvotes)。FrontierChallengeは300件の分野横断エンドツーエンド科学ワークフローからなるベンチマークである。

新規性: 評価対象を最終回答からワークフローの完遂へ移した点が中核である。科学研究の実務では、正しい数値に到達することと、その数値へ至る手順が再現・検証に耐えることは別の要求である——最終回答だけを採点するベンチマークは、途中で不正な近道を取ったエージェントと正当に導出したエージェントを区別できない。エンドツーエンドのワークフロー300件を分野横断で揃える構成は、データ取得から分析、成果物生成までの一連の作業が最後まで通るかを問うものであり、孤立したプログラム生成能力とは異なる軸を評価する。同日のSWE Refactor Benchが長期ホライズンの移行作業を問うのと同じく、「単発の正解」から「長い工程の完走」へベンチマークの重心が動いていることを示す。

手法: 300件の分野横断エンドツーエンド科学ワークフローを収集し、データ分析・コード実行・研究成果物生成を含む一連の工程の完遂度を評価する。

Hugging Face Daily Papers

WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation

著者: Zihao Wu, Hongyao Tang, Yi Ma et al.

大規模並列シミュレーションはoff-policy強化学習が訓練されるデータ領域そのものを変え、データ制約下のリプレイ向けに設計された安定化手法の前提を崩している(122 upvotes)。8つのベンチマークファミリーにわたる制御実験を通じ、これらの安定化手法がデータ領域に依存することを示す。

新規性: off-policy RLの安定化手法を、アルゴリズムの絶対的な優劣ではなくデータ領域への依存として捉え直した点が中核である。パラメータのリセットや正則化といった安定化技法は、リプレイバッファが小さくサンプルが希少という前提の下で有効性が確立されてきた——並列シミュレータが毎ステップ大量の新鮮な遷移を供給する領域では、その前提が成り立たない。8つのベンチマークファミリーにわたる制御実験でデータ領域依存性を実証したうえで探索と活用を再設計する構成は、既存手法の適用範囲を経験的に画定しにいくものであり、スケール環境における「何を持ち込み、何を捨てるか」の判断材料を与える。

手法: 8つのベンチマークファミリーにわたる制御実験で既存安定化手法のデータ領域依存性を実証し、大規模並列シミュレーション下での探索と活用を再設計したoff-policy RL手法を構成する。

Hugging Face Daily Papers

JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution

著者: Guibin Zhang, Leo Lu, Fangzhou Xie et al.

エージェントの能力はモデル単体では決まらない(47 upvotes)。記憶管理・計画戦略・行動プロトコル・ツールやスキルの編成を含むエージェントハーネスは、基盤モデルの寄与を上回りうる。しかしハーネス設計は依然として手作業かつタスク固有である。

新規性: ハーネスの改善を、事前設計でも訓練後の一括最適化でもなく、タスク実行時の逐次進化(just-in-time)として構成した点が中核である。ハーネスをタスク開始前に固定する設計では、そのタスクがどういう失敗モードを持つかを設計者が予見できている必要があり、未知のタスクほど当たりが外れる。実行中に得られる情報でハーネス自体を組み替える構成は、設計時点の予見に依存する部分を減らす方向であり、前日のAutoSaddlerが実行トレースから永続的な更新を抽出したのに対し、こちらは更新のタイミングを実行中へ前倒しする。モデルの外側にある構造でエージェントを改善する系譜が、更新の粒度と時点をめぐって分岐しはじめている。

手法: 記憶管理・計画戦略・行動プロトコル・ツール編成を含むハーネスを、タスク実行時に逐次進化させる枠組みを構成する。

Hugging Face Daily Papers

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

著者: Junxiang Xu, Ruisi Wang, Fanyi Pu et al.

ネイティブ視覚推論は、視覚生成を推論の媒体そのものとして扱う——画像や動画は理解すべき入力でも描画すべき出力でもなく、言語を超えた問題解決の第一級の基盤である(43 upvotes)。しかし進展は評価基盤の欠如によって律速されている。

新規性: 視覚推論の評価を「検証可能(verifiable)」かつスケーラブルな形で構成した点が中核である。視覚を推論の媒体として使う場合、中間状態は画像や動画であり、それが正しい推論ステップかどうかを自動判定する手立てが自明でない——人手評価に頼れば規模が出ず、テキストへ変換して採点すれば視覚を媒体とした意味が失われる。検証可能な評価スイートを大規模に用意する構成は、この領域を報酬設計可能な学習対象へ引き上げる前提を整えるものである。著者リストが60名を超え、視覚・認知科学・哲学の研究者を横断して含んでいる点も、この問いが単一分野の技術課題として立てられていないことを示す。

手法: 視覚状態を推論の第一級基盤として扱うネイティブ視覚推論について、スケーラブルかつ検証可能な評価スイートを構築する。

Hugging Face Daily Papers

D^3-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation

著者: Zechen Sun, Zhiwei Zhang, Fei Zhao et al.

多教師on-policy蒸留(MOPD)は、生徒自身のロールアウト上でドメインごとの逆KLダイバージェンスを最小化することで複数のドメイン専門家教師を単一の生徒へ蒸留する(22 upvotes)。既存手法はドメインごとのデータ混合比を訓練前に固定するが、ドメインによって収束速度は大きく異なる——早期に頭打ちになるものもあれば、訓練予算の全体を通じて改善し続けるものもある。

新規性: 混合比の調整に新しい信号を導入するのではなく、訓練中に既に計算されている逆KLをそのまま流用する点が中核である。動的なデータスケジューリングは一般にコストのかかる追加評価を必要とし、それが実運用での採用を妨げてきた。各ドメインのKL軌跡から残りの伸びしろと現在の改善率を推定し、訓練ループ本体に触れない非同期のwatcherがサンプリング比を調整する構成は、追加オーバーヘッドをゼロに抑えたまま適応性を得る設計である。ドメイン数が増えるほど収束パターンの多様性が増し、スケジューラの取り分も大きくなるという性質を持つ。

手法: 訓練中に生成されるドメインごとの逆KL信号を非同期watcherが監視し、残存する伸びしろと改善率からサンプリング比をオンライン調整する。Qwen3.6-35B-A3Bの生徒を4つのドメイン専門家教師から蒸留した実験で、教師との平均性能差の97%を埋め(vanilla MOPDは63%)、同じピーク性能へロールアウトステップ約3分の1で到達、7ベンチマーク中3つで専門家教師を上回った。

arXiv

Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning

著者: Zixuan Wang, Yanrui Miao, Zhengxi Lu et al.

ヒントベース強化学習は、各ロールアウトの前に専門家軌跡のプレフィックスを残すことで、長期ホライズンのエージェントタスクにおける報酬の疎性に対処する(20 upvotes)。方策は成功により近い状態から探索を開始できるが、その有効性はガイダンス深度——軌跡をどれだけ残すか——に強く依存する。

新規性: ガイダンス深度をハイパーパラメータとして固定せず、確率的に扱う点が中核である。プレフィックスを長く残せば報酬は得られるが方策は自力で解く経験を積めず、短くすれば元の疎性の問題に戻る——最適な深度は課題ごとにも訓練段階ごとにも動くため、単一の値を選ぶこと自体が誤った定式化である。深度をガウス的に配分する構成は、一回の訓練の中で浅いガイダンスと深いガイダンスの両方を経験させるものであり、カリキュラムを人手で設計する代わりに分布として与える方向と言える。

手法: 専門家軌跡のプレフィックス長(ガイダンス深度)をガウス分布に従って与え、ヒントベースRLにおける報酬疎性とガイダンス過多のトレードオフを緩和する。

Hugging Face Daily Papers

Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data

著者: Yinhao Tang, Youqing Fang, Yanan Sun et al.

近年の研究は、no-CoTデータ——解答例や教科書の導出のように推論に富むが明示的なchain-of-thought注釈を欠くコーパス——を活用する手法として次チャンク推論RLを提案している(19 upvotes)。この手法はモデルに暗黙の推論トレースを生成させ、それに報酬を与えて訓練する。本研究はそれが本当にSFTに優るのかを再検証する。

新規性: 新手法の提案ではなく、既存手法の優位性の主張そのものを検証対象に据えた点が中核である。RLがSFTを上回るという報告は、比較条件——データ量、訓練ステップ、ハイパーパラメータの探索予算——が揃っていないと容易に生じうる。no-CoTデータという設定は特にこの罠を抱えやすく、推論トレースを生成させる分だけRL側の実効的な計算量が増える。再検証の形で訓練戦略を並べ直す論文が上位に入ること自体、この領域の主張が積み上がる速度に対して検証が追いついていないという認識の共有を示している。

手法: no-CoTデータ設定下で次チャンク推論RLとSFTを条件を揃えて比較し、報告されている優位性の成立条件を検証する。

Hugging Face Daily Papers

Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation

著者: Huan-ang Gao, Haohan Chi, Yong Yan et al.

多教師on-policy蒸留(M-OPD)は、密なトークンレベルの報酬監督を通じて複数のドメイン特化RL専門家を単一の汎用生徒へ統合する有望なパラダイムとして現れた(17 upvotes)。実用上の成功にもかかわらず、多教師設定における最適化ダイナミクスは十分に解明されていない。

新規性: 多教師蒸留で生じる能力の偏りを、データ混合比の問題ではなく最適化ダイナミクスの問題として診断した点が中核である。同日のD^3-MOPDがドメインごとの収束速度差にスケジューリングで対処するのに対し、こちらは偏りがなぜ生じるのかという機序の側へ踏み込む。両者が同日に、同じ略語(MOPD / M-OPD)で同じ症状を扱っている事実は、多教師on-policy蒸留が既にスケジューリングと最適化理論の両面から詰められる段階に入ったことを示している——手法の提案から病理の解明へ移る局面である。

手法: 多教師on-policy蒸留における最適化ダイナミクスを分析して能力の偏りの発生機序を診断し、その是正手法を提案する。

Hugging Face Daily Papers

StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models

著者: Zhe Liu, Jinghua Hou, Yuxiang Lu et al.

Vision-Language-Action(VLA)モデルはロボット操作で有効性を示しているが、pi0.5のような最先端モデルは単一フレームのパラダイムで動作しており、過去の観測を保持して精密な空間知覚を発達させる能力が制限されている(16 upvotes)。StreamPIはストリーミングな時系列モデリングをVLAに導入する。

新規性: VLAの制約を、行動生成の質ではなく観測の保持期間に定めた点が中核である。単一フレーム入力は実装が単純で推論も軽いが、対象が一時的に遮蔽されたり、直前の動作の結果を確認する必要がある場面では、モデルは自分が何をしたかを忘れた状態で次の行動を決めることになる。ストリーミングで過去観測を保持する構成は、空間知覚を静的なシーン理解から時間的な状態追跡へ拡張するものである。同日のVoiceMemが音声対話で、こちらがロボット操作で、いずれも「ストリーミングな記憶保持」を核に据えている点は、リアルタイム系のモダリティに共通する制約が可視化されつつあることを示す。

手法: 単一フレームパラダイムの制約を超え、過去観測を保持するストリーミングなマルチモーダル時系列モデリングをVLAモデルに導入する。

Hugging Face Daily Papers

SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?

著者: Deyao Hong, Yizhe Chi, Wenyi Li et al.

現代のソフトウェアシステムは数十年の開発を通じて技術的負債を蓄積し、その移行は高コストかつほぼ手作業である(13 upvotes)。コーディングエージェントのバグ修正能力が向上するなか、こうした移行を自律的に遂行できるのかという問いに、既存ベンチマークは答えられない。

新規性: 評価タスクを、局所的なバグ修正からリポジトリ全体のスタック移行へ拡張した点が中核である。SWE-Bench系のベンチマークが測ってきたのは、失敗するテストが指し示す局所的な欠陥を直す能力であり、成功判定は既存のテストスイートが与えてくれる。全リポジトリのスタック移行にはその足場がない——何を変えるべきかの範囲自体を推定する必要があり、変更は数十から数百のファイルへ波及し、途中の一貫性が崩れれば全体が動かなくなる。長期ホライズンかつ全リポジトリという条件設定は、コーディングエージェントの評価を「パッチを当てられるか」から「大規模な構造変更を完走できるか」へ移すものである。

手法: リポジトリ全体にわたる長期ホライズンのスタック移行タスクを構成し、コーディングエージェントが自律的にそれを完遂できるかを評価する。

Hugging Face Daily Papers

The Handoff Tax: Continuing Non-Native Trajectories in LLM Agents

著者: Roy Ganz, Mor Shpigel Nacson, Adi Kalyanpur et al.

コーディングエージェントは数十回のモデル呼び出し・ツール使用・コード編集にまたがる長時間タスクを実行する(12 upvotes)。その過程でユーザーは実務的なコスト・品質のトレードオフに直面する——安価なモデルが苦戦したときに強いモデルへ切り替えるか、難しい推論が終わったところで安価なモデルへ落とすか。しかし切り替えのたびにコストが生じる。

新規性: モデル切り替えのコストを、API料金ではなく軌跡の非母語性(non-native trajectories)として定式化した点が中核である。モデルルーティングの議論は通常、どのタスクにどのモデルを割り当てれば費用対効果が最大かという配分問題として扱われる。しかし長時間の実行中に切り替えると、後を継ぐモデルは自分が生成したのではない推論の痕跡・部分的な編集・途中の判断を引き継ぐことになり、その解釈に追加のコストが生じる——これを「ハンドオフ税」として測定可能な量にした点が貢献である。エージェントの運用コスト設計において、切り替え自体に価格がついたことになる。

手法: 長時間実行中のモデル切り替えにおいて、他モデルが生成した軌跡を継続する際に生じる品質コストを定量化する。

Hugging Face Daily Papers

分野別の動向

多教師on-policy蒸留が最適化理論の対象になった

D^3-MOPD(22 upvotes)とOpen-MOPD(17 upvotes)が、異なるチームから同日に、ほぼ同じ略語で同じ症状——複数のドメイン専門家教師を単一生徒へ蒸留する際に生じる能力の偏り——を扱っている。前者はドメインごとの収束速度差に対しゼロオーバーヘッドの動的スケジューリングで応じ、後者は偏りが生じる最適化ダイナミクスそのものを診断する。手法が提案される段階から、その病理が解明される段階へ移りつつある兆候である。前日のSecOPDやDiffusionOPSDがon-policy蒸留を異分野へ横展開していたのに対し、本日は同一問題の深掘りが並んだ。関連して、Is Next-Chunk Reasoning RL Really Better than SFT?(19 upvotes)が既存手法の優位性主張を条件を揃えて再検証する論文として上位に入っており、この領域全体で「提案」より「検証」への重心移動が起きている。

ベンチマークが「単発の正解」から「工程の完走」へ

FrontierChallenge(129 upvotes)は最終回答ではなく300件の科学ワークフローの完遂を、SWE Refactor Bench(13 upvotes)は局所的なバグ修正ではなくリポジトリ全体のスタック移行を評価する。いずれも既存ベンチマークが持っていた「成功判定を外部から与えてくれる足場」——正解の数値、失敗するテスト——を意図的に外し、範囲の推定から一貫性の維持までを含む長い工程を測りにいく。AnTrap(12 upvotes)がAndroid GUIエージェントの実行時異常への頑健性を、Video-IFBench(15 upvotes)が動画理解における指示追従を問うのも同じ流れにある。エージェントの能力主張が「できた/できない」の二値で語りにくくなった結果、評価側が工程の粒度へ降りてきている。

リアルタイム系モダリティに共通する記憶保持の制約

VoiceMem(149 upvotes)は音声対話で、StreamPI(16 upvotes)はロボット操作で、いずれも「ストリーミングでの過去情報の保持」を中核に据える。前者は情報と感情を並列の二系統に分けて記憶I/Oをストリーミング化し、後者はpi0.5等の単一フレーム制約を破って過去観測を保持する。Super Star(2 upvotes)がオフライン前提だった共話ジェスチャ生成をオンライン化するのも同じ制約への応答である。応答を待たせられないモダリティでは、記憶をターン境界でバッチ処理する設計が成立しない——この共通の壁が、テキスト中心の記憶研究とは異なるアーキテクチャ上の要求を生みはじめている。

視覚を推論の媒体として扱う評価基盤

VGI-Bench(143 upvotes)とVBVR-Pro(43 upvotes)が同日に、動画生成・画像生成を推論の出力ではなく推論の媒体そのものとして評価する枠組みを提示した。前者は現行モデルの視覚事前分布に合わせた入力設計で「推論の失敗」と「描画の失敗」を分離し、後者は検証可能性とスケーラビリティを備えたスイートを構築する。V-Rubrics(13 upvotes)がルーブリックベースRLで視覚的忠実性の信用割当問題に取り組み、FIRM-Video(3 upvotes)がtext-to-video報酬モデルの検証を強化するのも同じ課題圏にある。生成モデルを推論器として使うには、まず中間状態の正しさを自動判定する手立てが要る——本日並んだのはその前提整備である。

エージェント改善の場所とタイミングが分岐しはじめた

JIT-Agent(47 upvotes)はハーネスの進化をタスク実行時へ前倒しし、前日のAutoSaddlerが実行トレースから事後に永続的更新を抽出したのと対を成す。The Handoff Tax(12 upvotes)はモデル切り替えのコストを軌跡の非母語性として定量化し、AgentRoom(6 upvotes)はCRDTを用いた共有ワークスペースで並行コーディングの調整を扱う。Automata from Agent Traces(4 upvotes)はトレース集合を単一の有限状態機械へ圧縮し、その振る舞い上のトポロジーがLLMよりもデプロイのハーネスに規定されると報告する——モデルの外側にある構造がエージェントの挙動を支配するという観察が、複数の角度から裏づけられつつある。

ソース