LLM API呼び出しを再現可能な「重み」として扱うProgram-as-Weightsが本日最高注目。有界メモリ検証、マルチヘッド再帰記憶、非リテラル検索ヘッド特定など、長期エージェントの記憶と検索を巡る研究が層厚く並んだ。
注目論文
Program-as-Weights: A Programming Paradigm for Fuzzy Functions
著者: Wentao Zhang, Liliana Hotsko, Woojeong Kim et al.
重要なログ行の検知、壊れたJSONの修復、意図に沿った検索結果の並べ替えなど、明快なルールベース実装に馴染まない日常的なプログラミングタスクは、局所性・再現性・価格を犠牲にしてLLM APIへ外注されがちである。本日最高の53 upvotesを集めた。
新規性: こうした「ファジー関数」をLLM APIに投げっぱなしにするのではなく、ローカルで再現可能かつ低コストな「重み」として扱う新しいプログラミングパラダイムを提案した点が新しい。
手法: 曖昧な仕様の関数をプログラムの重みとして捉え直すことで、外部API依存が生む再現性・コストの問題を回避しつつ、プログラムの局所性を取り戻す枠組みを示す。
AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents
著者: Xiangchen Cheng, Yunwei Jiang, Jianwen Sun et al.
長期LLMエージェントのメモリを「各未来の決定が何を参照してよいかについての契約」と捉える有界メモリ検証環境（39 upvotes）。最も単純な契約は過去の観測・ツール呼び出し・振り返りを毎プロンプトに追記することだが、それは過去文脈をアクセスしやすくする一方で雑然とした混合物に変えてしまう。
新規性: メモリを無制限に膨らませるのではなく、参照可能な情報を明示的に制約した「有界メモリ」の下で長期エージェントを評価するテストベッドを提示した点が貢献である。
手法: 各決定が参照できる過去情報を契約として形式化し、単純な全追記方式が抱える情報の混濁を避けつつ、長期タスクでのメモリ設計を比較評価できるようにする。
EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments
著者: Zhilin Wang, Han Song, Runzhe Zhan et al.
自律エージェントはフィードバックを通じて実行可能なポリシーを改善することが期待されるが、既存の評価はこの過程を最終スコアに潰したり、オープンエンドなソフトウェア工学の進捗と混同したりしがちである（39 upvotes）。
新規性: 「自律的ポリシー進化」という制御された評価設定を導入し、ポリシー改善の過程そのものを最終スコアに還元せず切り出して測れるようにした点が新しい。
手法: 対話環境でエージェントがフィードバックからポリシーを進化させる様子を、他要因と交絡させずに観測する評価枠組みを設計する。
Morphing into Hybrid Attention Models
著者: Disen Lan, Jianbin Zheng, Yuxi Ren et al.
ハイブリッド注意モデルは、フル注意層の一部だけを残し残りを線形注意で置き換えることで長文脈効率を高める（30 upvotes）。しかしTransformer→ハイブリッド変換の効果は、どの層でフル注意を残すかに決定的に依存する。
新規性: 既存手法が見落としがちな「どの層のフル注意を保持すべきか」という層選択問題に正面から取り組み、変換の質を左右するこの選択を体系的に扱った点が貢献である。
手法: フル注意を保持する層を適切に選ぶことで、線形注意への置き換えによる効率化と長文脈性能の両立を図る。
AgenticDataBench: A Comprehensive Benchmark for Data Agents
著者: Zhaoyan Sun, Shan Zhong, Daizhou Wen et al.
データサイエンスは異種の生データから実行可能な洞察を導き、現代社会が生む膨大なデータの価値を引き出すことを目指す（21 upvotes）。この過程の自動化はデータサイエンティストの労力を減らし、スケーラブルなデータ駆動アプリケーションを可能にするために不可欠である。
新規性: 異種の生データから洞察を導く「データエージェント」を網羅的に評価する包括的ベンチマークを構築した点が新しい。
手法: データ処理・分析の一連の工程をカバーするタスク群を整備し、データエージェントの実力を体系的に測定できるようにする。
Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads
著者: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini
長文脈利用では、LLMは関連する文脈スパンを逐語的にコピーするのではなく、その意味から答えを合成することが多い（11 upvotes）。どのアテンションヘッドがこの合成を行うかの特定は、長文脈でのモデル挙動の解釈に重要だが、既存の検出器は取りこぼしがある。
新規性: コピーではなく意味を統合する「非リテラル検索ヘッド」を、logit寄与に基づくスコアリングで特定できるようにした点が貢献である。
手法: 各アテンションヘッドが出力logitへどれだけ寄与するかを測ることで、逐語コピー型ではない意味統合型のヘッドを既存検出器より正確に炙り出す。
AutoMem: Automated Learning of Memory as a Cognitive Skill
著者: Shengguang Wu, Hao Zhu, Yuhui Zhang et al.
何を符号化し、いつ検索し、どう知識を整理するかを知る記憶の専門性は、認知科学でメタ記憶と呼ばれる学習可能なスキルである（6 upvotes）。この観点をLLMに持ち込み、メモリ管理を訓練可能なスキルとして扱う。
新規性: ファイルシステム操作を一級市民に昇格させ、メモリ管理をメタ記憶スキルとして学習させる枠組みを提示した点が新しい。
手法: 符号化・検索・整理という記憶操作をファイルシステム操作として表現し、それらを訓練対象のスキルとして学ばせることで、エージェントが自らメモリ運用を最適化できるようにする。
Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
著者: Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal et al.
言語モデルはベクトル検索の代替として、in-contextコーパスを条件づけて直接答えを生成できる。しかし従来研究は独自システムや小規模な再ランキングに偏り、百万トークン規模のin-context検索はほぼ未探索だった。
新規性: 百万トークンコーパスと訓練時をはるかに超える長さ汎化という、実用検索器が求める2つのスケールでin-context検索を初めて体系的に調べ、0.6BのBlockSearchを提案した点が貢献である。
手法: コーパスが大きくなると無関係な文書がsoftmaxの分母を支配しgold文書への正規化質量が減る「注意希釈」を崩壊原因と特定。長さ考慮のsoftmax調整と文書レベルのスパース注意を導入し、百万トークン規模で密検索に匹敵、7倍小さいながら並行手法MSAを上回る。
Multi-Head Recurrent Memory Agents
著者: (arXiv cs.LG)
再帰メモリエージェントは入力を固定サイズのメモリ窓へ反復的に統合し、LLMを任意長の文脈に拡張する。しかし文脈長が伸びるにつれ端から端までの性能が体系的に劣化するという信頼性問題が知られる。
新規性: 性能をメモリ捕捉と保持の2要因に分解して保持が支配的ボトルネックだと定量的に確認し、メモリを独立ヘッドに分割するtraining-freeなMulti-Head Recurrent Memory（MHM）を提案した点が新しい。
手法: 各ステップでちょうど1つのヘッドだけを更新し残りは構造的に上書きから保護することで、保持の負担をモデル挙動からアーキテクチャ設計へ移す。軽量版MHM-LRUは896KトークンのRULER-HQAで保持率を30%未満から73.96%へ改善する。
NightVision: Black-Box Inference of LLM Architectural Properties with Restrictive API Access
著者: Christopher Ellis, Shreyas Chaudhari, Mei-Yu Wang et al.
多くの商用LLM提供者はアーキテクチャ詳細を公開しない。先行研究はtop-k logitやlogitバイアスへのアクセスから隠れ次元などを復元できると示したが、これを受けて多くのAPIはトークンごとに単一logitのみを返すよう制限を強めた。
新規性: そうした制限的APIの下でも、隠れ次元・深さ・パラメータ数といった複数のアーキテクチャパラメータが依然として復元可能だと示した点が貢献である。
手法: 複数プロンプトで同一の出力トークン集合の対数確率を露出させる「共通集合プロンプティング」とそのスペクトル解析で隠れ次元を推定し、TTFT測定と組み合わせて深さとパラメータ数を推定。32個のOSS LLMで隠れ次元を平均相対誤差23%以内（MoEで9%）で復元する。
分野別の動向
エージェントの記憶と長文脈保持
本日はエージェントメモリを巡る研究が最も層厚く並んだ。AgenticSTS（39 upvotes）はメモリを「未来の決定が何を参照してよいかの契約」と捉える有界メモリ検証環境を、AutoMem（6 upvotes）はメモリ管理をファイルシステム操作を介した訓練可能なメタ記憶スキルとして学ぶ枠組みを提示する。Multi-Head Recurrent Memoryは保持がボトルネックだと定量化し、メモリの独立ヘッド分割で896Kトークンの保持率を大幅に改善した。無制限に膨らむ文脈をどう構造化し保持するかが、長期エージェントの中心課題として浮上している。
検索と情報アクセスの機構
情報をどう引き出すかにも関心が集まった。Logit-Contribution Scoring（11 upvotes）は長文脈でコピーではなく意味を統合する非リテラル検索ヘッドをlogit寄与から特定し、Can Language Models Actually Retrieve In-Context?は百万トークン規模で無関係文書がsoftmaxを支配する「注意希釈」を崩壊原因と突き止め、注意制御による軽量なin-context検索器を示す。検索を外部モジュールではなくモデル内部の注意機構として捉え直す動きが見える。
アーキテクチャと効率化
モデル構造そのものへの介入も続いた。Morphing into Hybrid Attention Models（30 upvotes）はどの層でフル注意を残すかという層選択問題に取り組み、線形注意置換による長文脈効率化の質を左右する要因を整理する。NightVisionは逆に、単一logitのみ返す制限的APIからでも隠れ次元・深さ・パラメータ数を復元できると示し、現行APIがアーキテクチャを十分に秘匿できていないと警告する。効率化と、その裏返しとしてのモデル秘匿性の脆さが同時に問われた。
エージェント評価とプログラミングパラダイム
評価と実装のあり方も更新された。EvoPolicyGym（39 upvotes）は自律的ポリシー進化の過程を最終スコアに潰さず制御的に測り、AgenticDataBench（21 upvotes）は異種生データから洞察を導くデータエージェントを網羅的に評価する。本日最高注目のProgram-as-Weights（53 upvotes）は、ルール化困難なファジー関数をLLM API依存から切り離しローカルで再現可能な「重み」として扱う新パラダイムを提案し、エージェント時代のプログラミングの局所性・再現性を問い直した。