LimiX-2が127 upvotesで首位、StepAudio 3のRealtime／Musicが続き、音声・音楽生成が上位を占めた。同時にScienceIDE・Agoraをはじめエージェントのハーネス設計と自己改善を扱う論文が同日に何本も並び、PPOのcritic破綻やDeepSeek-V4.1-FlashのKVキャッシュ圧縮と合わせ、学習基盤と実行基盤の両側が同時に掘られた日である。
注目論文
LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
著者: Xingxuan Zhang, Gang Ren, Hao Yuan et al.
LimiX-2 は、既に確立されたスケーリング則に導かれてモデルとデータの両面を拡大した、LimiX ファミリーの新モデルである（127 upvotes）。Contextual Mechanism Networks (CMNs) というパラダイムを採用し、Context-Conditional Masked Modeling (CCMM) で事前学習を行う。
新規性: 構造化データ（テーブル形式のデータ）を汎用基盤モデルの対象として正面から扱い、そのための表現パラダイムを別立てで用意した点が中核である。基盤モデルの拡大はテキスト・画像・音声といった非構造データを軸に進んできた——だが実務のデータの多くは列と行に整理された構造化データであり、系列モデルの前提がそのまま当てはまるわけではない。CMN という組織化の枠組みを置き直す構成は、その差を埋めに行くものである。
手法: CMNs パラダイムのもとでモデルとデータのスケーリングを行い、Context-Conditional Masked Modeling による事前学習を組み合わせる。
StepAudio 3 Realtime Technical Report
著者: Bin Lin, Bo Zhao, Boyang Zhang et al.
リアルタイムの音声対話には、深い推論・素早い応答・滑らかなターンテイキングが同時に求められる（102 upvotes）。StepAudio 3 Realtime は、聴く・会話する・考える・動く（listen-converse-think-act）という連続したループを軸に構成された音声言語基盤モデルである。
新規性: 音声対話を「認識→生成」の直列処理ではなく、途切れない一つのループとしてモデルの構造そのものに組み込んだ点が中核である。音声アシスタントは ASR・LLM・TTS の連結として組まれるのが通例である——だがその構成では各段の遅延が積み上がり、話者の割り込みや間の取り方といった対話の質感が段の境目で失われる。ループを一本化する設計は、その境目を消すためのものである。Deep Perception が豊かな音響手がかりを捉えてユーザの意図を解釈する点も特徴である。
手法: Deep Perception により音響的手がかりから意図を解釈し、聴取・会話・思考・行動を連続ループとして統合した音声言語基盤モデルを構築する。
StepAudio 3 Music Technical Report
著者: Chengli Feng, Zhiyue Wu, Jiahao Song et al.
StepAudio 3 Music は、明示的な楽曲プランニングとオープンドメインのテキスト制御に対応した大規模長尺音楽生成モデルである（76 upvotes）。StepAudio Music Tokenizer は、意味情報を織り込んだ自己教師あり表現を用い、65536 エントリの単一コードブックによって音声を 50Hz のストリームとして表現する。
新規性: 長尺の音楽生成に「明示的なプランニング」という層を持ち込み、トークナイザ側を単一コードブックへ単純化した点が中核である。音楽生成の長尺化は残差量子化による多段コードブックで扱われるのが通例である——だが段数が増えるほどデコード経路は複雑になり、構成の制御はモデル内部の暗黙表現に委ねられる。50Hz・単一コードブックという選択と明示的プランニングの組み合わせは、制御を表に出したうえで系列長を抑えるためのものである。
手法: 意味情報を組み込んだ自己教師あり表現に基づく StepAudio Music Tokenizer（50Hz、65536 エントリ単一コードブック）を用い、明示的な楽曲プランニングとテキスト制御を備えた長尺音楽生成モデルを構築する。
ScienceIDE: Turning World’s Scientific Codebase into Agent Learnable Environments
著者: Hejia Geng, Zesen Huang, Haoyang Li et al.
科学計算のコードリポジトリには、実行可能なモデル・手法・ツールの形で数十年分の人類の知識が蓄積されている（71 upvotes）。しかし断片化したツールチェーン、明文化されない領域の慣習、分野固有の正しさの基準が、その知識を信頼できる学習経験へ変換することを難しくしている。
新規性: 科学ソフトウェアを「エージェントが学べる環境」に変換すること自体を一つの課題（scientific code の学習環境化）として定式化した点が中核である。科学分野のエージェント研究はベンチマーク問題の作成として進められることが多い——だが実際の研究資産はリポジトリの中にあり、そこに到達できなければ学習信号は人手で作った問題の範囲に閉じる。既存コードベースを環境に変える枠組みは、その範囲を外すためのものである。
手法: 断片化したツールチェーン・暗黙の領域慣習・専門的な正しさの基準という障壁を扱い、科学コードリポジトリをエージェントが学習可能な環境へ変換する仕組みを構築する。
Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening
著者: Yizhuo Li, Jianhao Yan, Yun Luo et al.
LLM 向けの強化学習において、PPO は状態価値の推定と方策更新の分散低減のために critic を用いるのが通例である（60 upvotes）。本研究は PPO の critic に生じる系統的な failure mode を特定し、これを Value Flattening（価値の平坦化）と名付けている。
新規性: PPO の不安定さを実装上のチューニング問題ではなく、critic の推定そのものに生じる系統的な破綻として切り出した点が中核である。RLHF/RLVR における PPO の挙動はハイパーパラメータや報酬設計の問題として議論されることが多い——だが状態価値が平坦化してしまえば、どの状態が良いのかという区別自体が失われ、方策更新に乗る信号は本質的に劣化する。failure mode に名前を与えて緩和策まで示す構成は、その所在を切り分けるためのものである。
手法: PPO の critic における価値推定の平坦化現象を分析し、その発生機序を明らかにしたうえで緩和手法を提案する。
Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents
著者: Caiqi Zhang, Xiaochen Zhu, Chengzu Li et al.
出力が正しい確率の較正された推定は、何を出荷し、何をエスカレーションし、何を再試行するかを決めるため、言語モデルの信頼できる運用において中心的な位置を占める（49 upvotes）。しかし既存の信頼度推定器は、いずれも共通の設計前提を共有していると本研究は指摘する。
新規性: 信頼度推定を「出力時点のモデル内部状態から読み取るもの」ではなく「経験から得られるもの」として立て直した点が中核である。信頼度はトークン確率・自己申告・一貫性サンプリングから求められるのが通例である——だがこれらはいずれも生成の瞬間の情報に閉じており、そのタスクで過去に何度成功したかという実績を参照しない。経験に基づく推定へ拡張する構成は、その参照先を広げるためのものである。推論タスクからエージェントまでを射程に入れている点も特徴である。
手法: 既存信頼度推定器が共有する設計前提を分析し、経験に基づく（experiential）信頼度推定を推論タスクからエージェント実行まで一貫した形で構成する。
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
著者: Jeonghye Kim, Minseon Kim, Young Jin Kim et al.
コーディングエージェントの評価は、issue や指示によって望ましい挙動が明示される形式で行われるのが一般的である（45 upvotes）。しかし実際の Web 開発では、動作しているソフトウェアから挙動を推論し、それを未完成のアプリケーションに実装することがエージェントに求められる。
新規性: 仕様を自然言語で与えるのではなく「動くアプリそのもの」を参照として与える評価形式を立てた点が中核である。SWE 系ベンチマークは issue テキストとテストの対で構成されるのが通例である——だが実務では仕様が文章になっておらず、既存の実装を触って挙動を掴むところから始まる。動作する Web アプリを参照に置く構成は、その工程を評価に含めるためのものである。
手法: インタラクティブな Web アプリケーションを参照とし、そこから挙動を推論して不完全なアプリへ実装させる、検証可能なコーディングエージェント向けベンチマークを構築する。
Agora: Git as Shared Memory for Collective AutoResearch
著者: Yifan Zhang, Yunheng Zou, Shaokun Zhang et al.
AutoResearch のような自律研究ループは、1 体のコーディングエージェントが無人で学習設定を改善できることを示してきた（39 upvotes）。しかし複数体を同時に走らせると各セッションがゼロから始まるため、エージェントを増やしても発見が増えるのではなく探索の重複が増える傾向がある。
新規性: 自律研究エージェント群の共有メモリとして、専用のメモリ機構ではなく git そのものを据えた点が中核である。エージェントのメモリはベクトルストアや専用の知識ベースとして設計されるのが通例である——だが研究ループの成果物はコードと実験設定であり、その履歴・分岐・統合は git が既に扱っている構造そのものである。既存のバージョン管理を共有メモリに転用する構成は、その一致を利用するためのものである。
手法: 複数の自律研究エージェントが git を共有メモリとして用い、各セッションが独立に探索を繰り返すことによる重複を削減する枠組みを構築する。
ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models
著者: Shijie Lian, Bin Yu, Zhaolong Shen et al.
行動トークナイザは自己回帰型の vision-language-action (VLA) モデルの中心に位置し、方策学習の目標と、予測トークンから復元される実行可能コマンドの双方を規定する（36 upvotes）。その忠実度は、平均二乗誤差のような点ごとの再構成指標で評価されるのが通例である。
新規性: 行動トークナイザの良し悪しを測る指標そのものに疑いを向けた点が中核である。トークナイザの評価は元の行動系列をどれだけ正確に復元できるかで行われる——だが再構成誤差が小さいことと、そのトークン列が方策学習の目標として適していることは別の性質である。評価軸を問い直したうえでトークン化を設計し直す構成は、その乖離を扱うためのものである。
手法: VLA モデルの行動トークナイザについて、点ごとの再構成指標に依拠した従来の評価・設計を見直し、方策学習と実行の両面を踏まえたトークン化を構成する。
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
著者: DeepSeek-AI, Anyi Xu, B. Li et al.
長時間動作するエージェントの普及により、モデルのワークロードは入力過多（input-heavy）の方向へ大きく傾いている（14 upvotes）。長文脈の計算コストは先行研究によって大幅に削減されてきたが、prefill の計算負荷は依然として重く、巨大な KV キャッシュが HBM と SSD の容量およびデータ転送を圧迫し続けている。
新規性: 長文脈の負荷を「生成時の計算量」ではなく「入力側の prefill と KV キャッシュの物理的な置き場所」の問題として捉え直した点が中核である。長文脈の効率化は注意機構の計算量削減として進められてきた——だがエージェントが同じ文脈を何度も読み直す運用では、キャッシュの保持と転送そのものがボトルネックになる。圧縮率を限界まで押す構成は、その制約を動かすためのものである。DeepSeek-AI による大規模な共著論文である。
手法: 入力過多となったエージェント型ワークロードを対象に、prefill コストと KV キャッシュによる HBM/SSD 容量・転送帯域の圧迫を削減する KV キャッシュ圧縮技術を構築する。
分野別の動向
エージェントのハーネス設計
今日の特徴は、モデルそのものではなく「モデルを取り巻く実行機構（harness）」を主題にした論文が同日に何本も並んだことである。An Empirical Study of Harness Design for Coding Agents は、既存研究がハーネスを一枚岩のシステムとして評価してきたために個々の構成要素の効果が不明なままだと指摘し、コンポーネント単位の比較を可能にする枠組みを立てる。SoL-Pi は、コーディングエージェントが教師ありのコード補完から無人の常時探索へ移るにつれ、仕事が単発の予測から推論・ツール利用・フィードバックの長い軌跡へ広がると述べ、再帰的自己改善のスケーリングにおけるトークン効率を中心に据える。ModularRSI は、評価ベンチマークやその部分集合の上でハーネスを進化させる形では汎化するハーネス RSI が難しいという問題を扱い、HarnessVLN は同じ発想を訓練不要の身体化ナビゲーションへ持ち込む。An Architecture for Long-Horizon Agents はさらに踏み込み、数日から数週間に及ぶ作業はどのコンテキストウィンドウよりも長く生き延びるため、その能力はモデルではなくハーネス側にあると主張し、時間スケールごとの階層・クロックで刻まれる tick・失敗時のみ上位モデルへ委譲する cascaded intelligence という三部構成を提示している。10 日間のキャンペーンで公開済み強化学習の結果を再現し、人間の関与は 1 日 1 回だったと報告する。
強化学習とアライメント
PPO の critic に生じる Value Flattening（60 upvotes）のほか、RL の学習信号そのものを疑う論文が目立った。Advantage Scale Calibration Imbalance は、グループ相対最適化におけるアドバンテージのスケールが実装上の些事として扱われがちだと指摘し、分解能以下のジッタと「小さいが信頼できる差」を分離したうえで、同一のスケール分母が報酬項の強さ・プロンプト単位のバッチ重み・実効 KL 較正を同時に決めてしまう三方向の結合を示す。RLOO / Dr.GRPO では信頼できる小さな差が KL に支配されうる一方、GRPO の標準偏差分母は微小な差を無制限に増幅しうる、という説明はこの結合から導かれる。自己蒸留の側では、RetireOPD が多ターンエージェントの RL が軌跡あたり単一のスカラー報酬しか得られない点を出発点に自己 on-policy 蒸留による密なトークン単位の監督を扱い、What Does Privileged Information Add to On-Policy Self-Distillation? は、答えや解法を見せた教師が本当に蒸留そのもの以上の寄与をしているのかを切り分けにかかる。A Zeroth-Order Paradigm for LLM Preference Alignment は、尤度変位（likelihood displacement）を動機として、尤度マージンの小さい選好ペアから情報を取り出す別の方法を探る。
推論効率とメモリ
DeepSeek-V4.1-Flash に象徴されるように、長文脈エージェントのメモリ階層を扱う研究が厚い一日だった。Fathom は、エージェントのセッションが 100 万トークンに達し多数が同時に常駐する状況で、KV キャッシュとそのインデックスがホストメモリに載り、top-k のために全 n 個のキーを走査するトラフィックがデコード速度を律速すると述べ、クエリごとに読み取り深度を決める方式を提案する。The Other Half of the Memory Wall は MoE 推論を重みメモリ律速の問題として扱い、4bit でも 19.5GB になる 35B 級モデルについて、スパース性が削るのは計算量であってバイト数ではないと指摘したうえで、ルーティング予測を学習して SSD からのオフロードを成立させる。Flattening Every Memory Peak in Long-Context MoE Training は学習側で同じ壁に当たり、どれか一つの構成要素のピーク割り当てがデバイスメモリを超えた瞬間に学習が落ちるため、平均フットプリントではなくすべてのピークを同時に抑える必要があると論じる。低ビット化では VC-Attention が Diffusion Transformer の注意を対象に、ブロックの量子化スケールが最大値に引きずられる外れ値問題へ value smoothing と softmax casting で対処する。SpectralShift は、線形注意層のスペクトル特性を考慮せずに継続事前学習を行う既存のコンテキスト拡張を見直し、Gated DeltaNet の文脈窓拡張をスペクトル再パラメータ化で扱う。
評価と信頼性
エージェントの評価基盤を問い直す論文も複数あった。Closed-World Resolution Against Tool Hallucination in LLM Agents は、存在しないツールを呼び出しどのスキーマにも宣言されていない引数を渡すという失敗が、ツール選択にもツールセキュリティにも扱われていない構造的な死角だと指摘する。幻覚した呼び出しはそもそもどのゲートも下していない判断であるため、いかなるゲートも拒否できない、という論法は明快である。10 種のホストモデルで 322 件の実際の幻覚を計測し、捏造ツール呼び出しが制約のない raw JSON 面に集中すること（34 件対 3 件）、そしてモデル規模が効かないこと（675B が 7-8B と同等）を報告する。ImpossibleRubrics は、LLM が生成したルーブリックが報酬信号・LLM-as-a-judge・自動採点に使われる以上、それを突くために最適化された敵対的回答よりも誠実な回答を高く評価できるかが前提条件だとして、その頑健性をストレステストする。PACT は企業向け LLM エージェントが採用・医療・金融といった機微な文脈へ投入される状況を踏まえ、システムコンテキストで指定された規則への準拠を一次的な法的関心事と位置づける。より俯瞰的には、What Do We Expect from LLMs? が 2022 年 1 月から 2026 年 8 月までの評価リソース論文 14,767 本をマッピングし、行動・対話・専門応用への重心移動と、LLM ベースの採点がエージェント系・非エージェント系の双方で拡大している一方、モデル生成の評価素材には同様の持続的増加が見られないことを示している。
音声・マルチモーダル
StepAudio 3 の 2 本が上位を占めたほか、音声対話の実務的な課題を扱う arXiv 論文が並んだ。A frontend-backend architecture for tool calls in full-duplex speech models は、全二重の音声対話モデルにツール利用を持ち込むため、フロントエンドが委譲トークンを発してストリーミング ASR の書き起こしをテキストベースのバックエンド LLM へ渡す構成を提案し、単一ターンのツール呼び出し再現率 92-97%、無関係な呼び出しの拒否精度 81.2% を報告する。一方 Full-Duplex Speech Models Take the Floor When Asked, Not When Needed は同じ全二重モデルの別の面を突く。話しかけられたときや沈黙が生じたときには応答するが、誤った事実の訂正や危険の警告といった自発的な発話の引き金としては機能しないことを 5 つのモデルファミリで示し、発話機会を与えても偽事実に異を唱える応答の割合は .14-.15、危険を警告する割合は .04-.07 にとどまると報告している。「話す機会」と「話すべき理由」を分離した設計は、対話モデルの評価軸として示唆的である。