Continual Learning Mechanisms Compose for Long-Horizon Memorizationが287 upvotesで首位、StepAudio 3のRealtime版とMusic版が同日に並んだ。長期にわたる記憶保持という地味だが基盤的な問題と、リアルタイム音声・長尺音楽という生成側の両方が前面に出た日である。再帰的自己改善は概念の形式化とハーネス側の実装へと重心を移しつつある。
注目論文
Continual Learning Mechanisms Compose for Long-Horizon Memorization
著者: Zheyuan Zhang, Alvin Zhang, Daniel Khashabi et al.
言語モデルは、時間をかけて到着する情報を内部に取り込み、その後の多数の更新を経ても保持し続ける必要がある（287 upvotes）。この課題を研究するため、100 個の質問-回答タスクを継続的な教師ありファインチューニングで逐次学習していく「長期記憶（long-horizon memorization）」という設定を導入している。
新規性: 記憶の問題を「一度の学習でどれだけ覚えられるか」ではなく「その後どれだけ更新に耐えるか」として立て直した点が中核である。継続学習の評価は、タスク列を通じた平均精度や忘却量として測られるのが通例である——だが実運用のモデル更新はタスク数が数十から数百に及び、初期に覚えた事実が終盤まで残るかという時間軸の長さそのものが問題を変える。100 タスクを逐次学習させる設定は、その長さを評価の中心に据えるためのものである。加えて、個別に提案されてきた継続学習の諸機構が互いに打ち消し合うのではなく、合成的に働いて効果を積み上げることを示している。
手法: 過去データを保持しないまま 100 個の質問-回答タスクを継続的な教師ありファインチューニングで学習する長期記憶ベンチマークを構築し、継続学習の各機構を組み合わせた際の挙動を分析する。
AI for Games in the Foundation Model Era
著者: Meng Luo, Yanlin Li, Hao Li et al.
基盤モデルと学習型のゲーム世界モデルの進展により、ゲームのライフサイクル全体で AI のあり方が組み替わりつつある（106 upvotes）。ゲームをプレイするだけでなく、最近のシステムはプレイヤーとゲームの力学をモデル化し、設計・開発を支援し、プレイヤー向けの体験を実行時に適応させ、生成された成果物を評価するところまで担っている。
新規性: ゲーム AI を「プレイする主体」から「制作・運用・評価を横断する基盤」へと捉え直し、断片化していた研究群をライフサイクルという単一の軸で整理した点が中核である。ゲーム AI の研究はエージェントの強さを競う文脈で語られるのが通例である——だが基盤モデルが設計支援や実行時適応まで担うようになると、プレイ性能はライフサイクルの一部でしかなくなる。制作から評価までを一つの俯瞰図に収める構成は、その広がりに対応するためのものである。
手法: プレイ、プレイヤー・ゲーム力学のモデル化、設計・開発支援、実行時の体験適応、成果物評価という各段階を横断して、基盤モデル時代のゲーム AI 研究を体系化するサーベイを構築する。
StepAudio 3 Realtime Technical Report
著者: Bin Lin, Bo Zhao, Boyang Zhang et al.
リアルタイムの音声対話には、深い推論、即座の応答、滑らかなターンテイキングが同時に求められる（91 upvotes）。StepAudio 3 Realtime は、連続的な「聴く-会話する-考える-動く（listen-converse-think-act）」ループを中心に据えた音声言語基盤モデルである。Deep Perception が豊かな音響的手がかりを捉えてユーザの意図を解釈する。
新規性: 音声対話を「認識 → 生成」の直列処理ではなく、途切れない一つのループとしてモデルの構造そのものに埋め込んだ点が中核である。音声対話システムは ASR・言語モデル・TTS の段構成で組まれるのが通例である——だが段を分けると、深く考えるほど応答が遅れ、速く返すほど推論が浅くなるというトレードオフが構造側に固定されてしまう。聴取・会話・思考・行動を連続ループとして一体化する設計は、その固定を外しに行くものである。
手法: 連続的な listen-converse-think-act ループを核とする音声言語基盤モデルを構築し、Deep Perception により音響的手がかりからユーザ意図を解釈する。
The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement
著者: Yi Duan, Ying Liu, Zirui Tang et al.
再帰的自己改善（RSI）は、AI システムが経験とフィードバックを持続的な変化へ転換し、能力そのものと将来の改善プロセスの両方を向上させることを可能にする（86 upvotes）。本研究はまず Headroom-Closed Index（HCI）を用いて既存 LLM の問題点を可視化し、そのうえで RSI の概念枠組みを提示する。
新規性: RSI を語る前に「既存モデルが伸びしろをどこまで埋められているか」を定量化する指標を置いた点が中核である。自己改善の研究は、改善ループを回した結果として性能が伸びたかどうかで評価されるのが通例である——だが伸びしろが残っている限り、通常の学習でも性能は伸びるため、それが再帰的改善によるものか判別できない。HCI で既存 LLM の到達度を先に測る構成は、真の RSI とそうでないものを切り分けるための前提整備である。
手法: Headroom-Closed Index（HCI）により既存 LLM の限界を定量化し、それを踏まえて再帰的自己改善の概念枠組みを構築する。
StepAudio 3 Music Technical Report
著者: Chengli Feng, Zhiyue Wu, Jiahao Song et al.
StepAudio 3 Music は、明示的な音楽的プランニングと開放ドメインのテキスト制御に対応した、大規模な長尺音楽生成モデルである（70 upvotes）。StepAudio Music Tokenizer は、意味情報を反映した自己教師あり表現を用いて、音声を 65536 エントリの単一コードブックによる 50Hz のストリームとして表現する。
新規性: 長尺音楽生成の制御を、プロンプトの工夫ではなく「明示的なプランニング」という構造として分離した点が中核である。音楽生成は条件付きの系列生成として扱われるのが通例である——だが楽曲は数分にわたる構成を持ち、局所的な自然さだけでは全体の構造が保たれない。プランニングを明示的な操作対象として切り出す構成は、その長さに耐える制御を得るためのものである。単一コードブック・50Hz という簡潔なトークン化も、長尺の系列長を現実的な範囲に収めるための選択である。
手法: 意味情報を反映した自己教師あり表現に基づき、65536 エントリの単一コードブックで音声を 50Hz ストリーム化するトークナイザを設計し、明示的な音楽的プランニングとテキスト制御を伴う長尺音楽生成を行う。
AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
著者: Jiaming Tan, Mingliang Zhai, Zhen Li et al.
対話型の動画世界モデルは、カメラ移動の下で広いシーン文脈を保ちながら、低遅延で高忠実度の観測を生成しなければならない（22 upvotes）。既存手法は表現上のトレードオフに直面する——透視（perspective）モデルは局所的な視界のみを扱うため、長いロールアウトの間じゅう画面外の内容を保持し続ける必要がある。
新規性: 世界モデルの内部状態を全天球（panoramic）で持ち、出力だけを透視動画として取り出すという役割分担が中核である。動画世界モデルは、観測と同じ透視表現のまま状態を保持するのが通例である——だが視界の外に出た内容を透視表現だけで維持し続けるのは難しく、長時間のロールアウトでシーンが崩れていく。状態を全天球側に置く構成は、その保持の負担を表現の選択で解消しようとするものである。
手法: 全天球状態から透視動画を生成するストリーミング世界モデルを構築し、広域のシーン文脈の保持と低遅延・高忠実度の観測生成を両立させる。
ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents
著者: Shuhan Xue, Jianyuan Zhong, Ziyuan Nan et al.
ScienceBuddy は、継続的に改善し続ける科学エージェントを研究者の日常ワークフローに組み込む、対話型の科学研究ワークスペースである（17 upvotes）。研究者の科学的タスク遂行を支援しつつ、その要求・フィードバック・実行の履歴を改善の材料へと転換する。
新規性: 自己改善の駆動源を、ベンチマークのスコアではなく実際の研究者とのやり取りに置いた点が中核である。自己改善エージェントは、評価タスク上の成績を報酬として改善ループを回すのが通例である——だが評価タスクへの最適化は、実際の研究で求められる支援とずれていく。研究者の要求とフィードバックを改善の入力に据える構成は、そのずれを埋めるためのものである。同日の The Last AI Built by Humans が RSI の概念整理に向かうのに対し、こちらは実運用のワークスペースとして公開されている点が対照的である。
手法: 対話型の科学研究ワークスペースを構築し、研究者の要求・フィードバック・実行履歴を継続的な改善へ転換する再帰的自己改善の仕組みを組み込む。
HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness
著者: Yang Chen, Lirong Che, Zhenyu Huang et al.
身体化ナビゲーションでは、エージェントが視覚観測を解釈し、空間的な知識を蓄積し、指示に従うか対象を探すために行動を実行する必要がある（15 upvotes）。学習ベースの手法は汎化に課題を抱え、学習不要の手法はマルチモーダル大規模言語モデル（MLLM）を活用するものの制約が残る。
新規性: 個別に設計されてきた学習不要ナビゲーション手法を、エージェントハーネスという共通の実行機構の上で統一した点が中核である。学習不要手法は、MLLM の呼び出し方やメモリの持ち方を手法ごとに作り込むのが通例である——だが作り込みが手法固有である限り、改善は他手法へ波及しない。ハーネスとして共通化する構成は、その改善を再利用可能にするためのものである。ハーネスを再帰的改善の対象とする同日の ModularRSI とも問題意識を共有している。
手法: エージェントハーネスを介して学習不要の身体化ナビゲーションを統一的に扱う枠組みを構築し、MLLM を用いた手法の汎化性能と実行性能を改善する。
HazardAuditor: From Executable Threats to Safer Computer-Use Agents
著者: Yunhao Feng, Ruixiao Lin, Ming Wen et al.
コンピュータ操作エージェントはブラウザ・ターミナル・ファイルシステム・外部サービスとの相互作用を増やしており、生成された内容だけでなく実行時の振る舞いを通じて安全性リスクが生じる（14 upvotes）。既存のガードモデルは静的なプロンプトと応答を対象としており、エージェントの実行を扱うには適していない。
新規性: 安全性の監査対象を「何を言ったか」から「何を実行したか」へ移した点が中核である。ガードモデルは入出力テキストの有害性判定として構成されるのが通例である——だがファイル削除やコマンド実行は、テキストとしては無害に見えても実行された時点で取り返しがつかない。実行可能な脅威を起点に監査を組む構成は、その取り返しのつかなさに合わせたものである。
手法: 静的な入出力ではなく実行時の振る舞いに基づいてコンピュータ操作エージェントの危険動作を監査するガードモデルを構築する。
Breaking the 1.58-bit Barrier for Ternary LLMs
著者: Evangelos Georganas, Alexander Heinecke, Pradeep Dubey
三値 LLM は各重みを {-1, 0, +1} の 3 記号で保存するため、そのコストは情報理論的な log₂3 ≈ 1.585 bit/重みを基準に語られてきた。実運用の格納形式は 5 つの三値重みを 1 バイトに詰め込み（5トリット詰め）、実際に用いられる 2 冪のグループサイズのために 1.625 bit/重みへ切り上がる。
新規性: 「3 記号が等確率である」という暗黙の前提を実測で崩した点が中核である。三値モデルの格納コストは記号数から情報理論的に導かれるのが通例である——だが実際に学習されたモデルの重み分布は一様ではなく、29 個の三値 LLM を実測したところゼロが全重みの最大 51.5% を占めていた。分布に適応するレイアウトは、その偏りを圧縮率へ直接変換するためのものである。
手法: 存在ビットマップと圧縮済み符号ベクトルから成る分布適応レイアウト BITCOS を提案する。ゼロ密度 z に対して 2 − z bit/重みのコストとなり、29 モデル中 26 モデルで 5トリット詰めを下回り、最も疎なモデルでは 1.485 bit/重みに達する。AVX-512・AVX2・Intel Xe2 GPU 向けの最適化された展開処理を示し、実モデルのゼロ密度において最先端の三値行列ベクトル積カーネルに対し最大 1.28 倍の高速化、エンドツーエンドのデコードスループットで CPU 最大 1.18 倍・GPU 最大 1.27 倍の改善を報告する。
分野別の動向
記憶と継続学習
今日の首位は、派手なエージェントや生成モデルではなく記憶の持続性だった。Continual Learning Mechanisms Compose（287 upvotes）が 100 タスクの逐次 SFT という長期設定を導入したのに対し、arXiv 側では推論時に記憶を扱う研究が並んでいる。REALM は認知神経科学の記憶再固定（reconsolidation）に着想を得て、長期記憶を「新情報の到着時に更新するもの」から「検索のフィードバックによって継続的に再編成されるもの」へ捉え直し、LoCoMo で 75.97%、LongMemEval で 65.11% と最強ベースラインをそれぞれ 7.17 ポイント・1.31 ポイント上回る。The Immutable Past は追記専用の共有メモリで生じる Semantic Shadowing——矛盾する過去の観測が蓄積し、正しい最新の更新を統計的に圧倒してしまう失敗——を形式化し、検索文脈を広げるほど生成精度が下がる Majority Vote Trap を示したうえで、時間的支配関係と矛盾検出により影に隠れた文脈を外科的に切除する GC-Mem を提案している。学習時の保持と推論時の保持が、同じ日に別々の入口から攻められた形である。
再帰的自己改善とエージェントハーネス
前日に上位を占めた RSI は、今日は概念の形式化とハーネス側の実装へ重心を移している。The Last AI Built by Humans（86 upvotes）が HCI で既存 LLM の伸びしろを測ることから始め、Generalized Agent Iteration は反復方策改善と RSI を単一の形式的枠組みで記述しようとする。実装側では、ModularRSI が長時間実行のコーディング・ターミナルタスク向けハーネスの RSI を汎化可能な形にすることを狙い、HarnessVLN（15 upvotes）が学習不要の身体化ナビゲーションを同じくハーネスとして統一し、ScienceBuddy（17 upvotes）が研究者との実際のやり取りを改善の駆動源に据える。改善の対象がモデルの重みからエージェントの実行機構（ハーネス）へ移りつつある点が、今日の共通項である。
音声・マルチモーダル生成
StepAudio 3 が Realtime（91 upvotes）と Music（70 upvotes）の二本立てで公開され、リアルタイム対話と長尺音楽という両端を同じシリーズで押さえている。世界モデル側では AlayaVista（22 upvotes）が全天球状態から透視動画を生成するストリーミング構成で長時間ロールアウトの一貫性を狙い、PhysStream が構造化シーンメモリと細粒度モーション制御で物理的に妥当な動画生成を streaming 化する。Modality-Autoregressive World-Action Models は、世界行動モデルが未来を RGB 画像として予測する既定路線に対し、深度・事前学習済み視覚特徴・点追跡といった他のモダリティの方が幾何・意味・運動を効率よく捉えられるとして、モダリティの組み合わせ方自体を問い直している。
効率化と推論コスト
Breaking the 1.58-bit Barrier は、三値 LLM の格納コストを情報理論的な下限ではなく実測の重み分布から決め直し、1.485 bit/重みという値を引き出した。同じ方向では LLM Inference in a Flash! が Compute-in-Flash デバイス上での LLM 推論を整数演算のみで完結させ、辞書ベースの KV キャッシュ圧縮によって書き込み耐久性の制約に対処し、Llama-3.1-8B と Qwen-2.5-7B で動的な KV キャッシュトラフィックを 15 倍削減している。Where Should the KV Cache Live? は GPU HBM・CPU DRAM・SSD の三層で KV キャッシュの配置方針を検証し、GPU あたり 73.02 倍の同時セッション数とセッションあたり 62.04 倍のコスト削減が配置方針ではなく階層容量そのものに由来すること、そして先読み（prefetch）は未来を知るオラクルですら帯域コストに見合わないことを報告している。効率化の議論が「どの手法が効くか」から「効いているのは本当にその手法か」へ移りつつある。
評価と安全性
評価の信頼性を問う研究が目立つ。Bias Audits Detect Bias but Disagree on Ranking は 10 種類のバイアス監査ツールと 10 個のフロンティアモデルで、バイアスの検出には成功する一方、ツール間のランキング一致度は偶然と区別がつかない（Kendall’s W=0.07, p=0.83）ことを示し、単一の監査でモデル間の順位付けは支持できないと結論づける。Are We Grading Properly? は臨床ベンチマークのルーブリック自体の欠陥を扱い、HealthBench Professional では判定 LLM が基準の 29.6% を非原子的、65.4% を不整合・硬直的と判定し、「以下のいずれか/すべて」といった束ねられた基準を等重みの子基準へ書き直すだけで同一応答のスコアが最大 15.9 ポイント動くことを示した。ImpossibleRubrics は生成ルーブリックが報酬信号として使われる状況で、その頑健性——正直な回答を、ルーブリックを悪用するよう最適化された敵対的回答より高く評価できるか——をストレステストする。
安全性では、HazardAuditor（14 upvotes）が実行時の振る舞いに基づく監査を提案し、BLINDSPOT が長時間のツール利用エージェントについて、安全な完遂・正しい拒否・危険な完遂・過剰拒否・判定不能の 5 分類で軌跡全体を評価する。7 領域 35 シナリオ・平均 14.7 ターンの 2,500 以上の軌跡での評価から、最初の数ステップが安全でもその後に失敗が現れうることを示し、エージェントの安全性を単一ターンの二値判定ではなく軌跡レベルの性質として扱うべきだと主張している。Decoy Direction Optimization は、オープンウェイトモデルの拒否方向を消去する Refusal Feature Ablation に対し、真の拒否回路を隠すのではなく高強度の囮信号を MLP ニューロンへ注入して攻撃側の推定量を汚染するという逆転の発想を取り、6 モデルファミリで ASR 10% 未満、Heretic の重み攻撃では 88.7% から 18% へ低減しつつ、学習ベースの防御より 30〜450 倍低い最適化コストで済むと報告する。