生成物を後から編集・制御できるかを問うEditable Visual DesignとTemporal Context Routing、飽和した評価軸を組み直すLast Translation BenchmarkとRealSWE、そして3Dトークン化やマルチモーダル埋め込みの効率化が並んだ。前日の大型モデル群に対し、周辺の制御性と評価の作り直しが主題となった。
注目論文
Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction
オンライン3D再構成モデルは長尺動画で性能が大きく劣化する（45 upvotes）。原因は、姿勢を第一フレームという固定アンカーに対して回帰させる設計にあり、動画が長くなるほど訓練分布を大きく外れた外挿を強いられる。わずかなドリフトが蓄積し、増幅して幾何全体の破綻に至る。一方で著者らは、この失敗の最中でもフレームごとの深度は安定し続けることを観測している。
新規性: 長尺での崩壊を、モデル全体の能力不足ではなく参照系の選び方の問題として切り分けた点が中核である。バックボーンが出力する局所的な幾何は壊れていない——壊れているのは、それらを一つの固定原点へ結びつける段だけである。この切り分けが成り立つなら、必要なのはより強い表現ではなく、外挿を要求しない姿勢の問い方ということになる。
手法: 第一フレーム固定の絶対姿勢回帰に代えて、複数の参照フレームに対する相対姿勢をクエリする効率的な機構を学習し、オンラインでのスケーラブルな再構成を行う。
Editable Visual Design
GPT-Image-2やNano-Bananaのような拡散ベースモデルは高い視覚的表現力を示すが、エンドツーエンドの生成は本質的に平坦なビットマップを出力し、文字は崩れやすく、レイヤー単位の後編集ができない（41 upvotes）。逆に、コーディングエージェントによるコードベースの視覚生成は精密なレイアウト制御と分離されたレイヤーを与えるが、全体としての美的な直観を欠く。
新規性: ビジュアル生成の評価軸に「生成後に編集できるか」を正面から置いた点が中核である。デザインの実務では、出力は最終成果物ではなく作業の出発点であり、文字を差し替えたい・要素を一つ動かしたいという要求が必ず後から来る——平坦なビットマップはその時点で使えなくなる。表現力と編集可能性が別々の技術系統に分かれて存在しているという整理そのものが、この問題設定の骨格になっている。
手法: 拡散モデルの美的品質と、コード生成による構造化・レイヤー分離という二系統の長所の乖離を出発点に、編集可能なビジュアルデザイン生成を扱う。詳細な構成は原論文を参照。
The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
音声と映像を同時生成するモデルは、視覚品質と音声・映像の同期において大きく進歩した（33 upvotes）。しかし、ショット転換がいつ起きるか、台詞がいつ話されるかに対する制御は依然として限定的である。この制約は脚本駆動のコンテンツ制作での利用を妨げる。タイミングの誤りが物語の一貫性と視聴体験を損なうためである。
新規性: 音声・映像生成の課題を、同期の精度から時間軸上の指定可能性へ移した点が中核である。既存の評価が重視してきた「音と映像がずれていないこと」は、生成された内容がいつ起きるかを指定できることとは別の要件である——脚本には各カットと各台詞の順序と時点が書かれており、それを守れないなら脚本を入力にする意味が薄れる。時間文脈のルーティングという定式化は、この指定を生成過程のどこへ届けるかという問題として扱う。
手法: 脚本に記述された時間構造を生成モデル内部の時間文脈として経路制御（Temporal Context Routing）し、ショット転換と発話タイミングの制御性を高める。
WHALE: A Simple Recipe for Joint Harness-Weight Optimization
エージェントの性能は、モデルの重みと、コンテキストや制御フローを管理する実行可能なハーネスコードの両方に依存する（30 upvotes）。どちらか一方だけを最適化すると、凍結されたもう一方がシステムのボトルネックとして残る。重みの更新は「どのハーネスが有効か」を変えうるし、ハーネスの更新は「モデルのどの能力が引き出されるか」を変えうるためである。
新規性: エージェント開発における重みとハーネスの相互依存を、順番に片方ずつ詰める作業ではなく同時最適化の対象として扱った点が中核である。実務では両者は別チーム・別サイクルで触られることが多いが、片方を固定した状態で測った改善は、もう片方が動いた瞬間に前提を失う——足場の測定値が足場ごと動く構造になっている。簡潔なレシピとして提示される点は、この同時最適化が特殊な装置なしに実行可能だという主張でもある。
手法: モデル重みとハーネスコードを共同で最適化する手続きを構成し、既存の共同適応手法と比較する。
Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
ストリーミング動画理解では、マルチモーダルLLMが連続的な視覚入力を処理しつつ、厳密な因果性と有界なメモリという制約下でユーザのクエリに応答する必要がある（29 upvotes）。既存手法は通常、過去の観測を外部メモリバンクへ圧縮し、クエリに関連する証拠を追加の視覚コンテキストとして検索してくる。有効ではあるが、この store-and-retrieve のパラダイムには構造的な限界がある。
新規性: 長期記憶の設計を、保存と検索の組み合わせではなく表現そのものの継続的な更新として捉え直した点が中核である。外部バンクへ書き出した表現は書き込まれた時点の理解で固定される——後から入ってくる映像がその意味を変えても、検索で引き当てられるのは古い断片のままである。潜在メモリを漸進的に進化させる構成は、記憶を参照先ではなく更新され続ける状態として扱う方向にある。
手法: 外部メモリバンクへの圧縮と検索に代えて、潜在的なメモリ表現を入力の進行に伴って漸進的に更新し、有界メモリと因果性の制約下でストリーミング応答を行う。
Last Translation Benchmark
科学的な進歩には、最先端モデルの限界を突くベンチマークと、失敗の様態を教えてくれる評価手法が必要である（27 upvotes）。しかしモデルが強くなるにつれ、機械翻訳の標準的なベンチマークは飽和に近づいている。さらに自動評価指標は信頼性を欠き、報酬ハッキングに脆弱で、行動につながらない評価しか返さない。人手によるゴールド評価にも固有の問題がある。
新規性: 翻訳評価の問題を、指標の精度改善ではなくベンチマークと評価手法の同時再設計として扱った点が中核である。飽和したテストセットの上でより良い自動指標を作っても、区別すべき差がそもそもデータに残っていない——スコアが上がらない理由が能力の限界なのか計測の限界なのかを切り分けられなくなる。「最後の翻訳ベンチマーク」という表題は、この飽和局面に対する設計上の主張として読める。
手法: 飽和しつつある既存ベンチマークと、報酬ハッキングに脆弱な自動指標の双方を対象に、限界を突くテストセットと失敗事例を可視化する評価手法を構成する。
ZipTok3D: High-Fidelity 3D Tokenization with Compact Token Prefixes
効率的な3D生成にはコンパクトなトークン列が不可欠である（25 upvotes）。しかし既存の3Dトークナイザは、潜在表現を空間領域ごとに配置するか、固定サイズのグローバルトークン集合として持つかのいずれかであり、どちらも極端に少ないトークン予算まで圧縮すると再構成品質が急激に劣化する。
新規性: トークン列を一律の粒度で持つのではなく、接頭辞に情報を前寄せする構成を採った点が中核である。空間分割型も固定グローバル型も、予算を削ると全要素が等しく痩せる——どのトークンも同じ資格で並んでいるため、削減はそのまま全体の解像度低下になる。接頭辞側へ重要な情報を集める設計は、途中で打ち切っても意味のある表現が残るという性質を狙うものである。
手法: コンパクトなトークン接頭辞に情報を集約する3Dトークナイザを設計し、低トークン予算下での高忠実度な再構成を目指す。
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference
マルチモーダルモデルは、生成的な視覚言語モデリング向けに設計されたアーキテクチャの上に構築されることが多く、典型的には別々に事前学習された視覚エンコーダと因果言語モデルを組み合わせる（25 upvotes）。ColPaliのような視覚文書検索器はこれらのモデルをエンコーダとして転用しており、生成を伴わないタスクにVLMのパラメータ量と計算コストをそのまま持ち込んでいる。NeoMMEは260Mと800Mのパラメータ規模からなるエンコーダ群である。
新規性: 検索用エンコーダを、生成モデルの転用ではなくエンコード専用として最初から設計し直した点が中核である。転用構成では因果デコーダの重みも推論経路も残るが、検索に必要なのは入力を一本のベクトルへ落とす能力だけである——生成のために払っているコストは検索側から見れば丸ごと余剰になる。単一タワーかつマルチモーダル・ネイティブという設計は、この余剰を最初から持たない構成である。
手法: 視覚エンコーダと言語モデルの二塔構成を排し、マルチモーダル入力をネイティブに扱う単一タワーの多言語基盤エンコーダを260M / 800Mで構築する。ファインチューニングと推論の効率を重視する。
CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation
MLLMベースの埋め込みモデルは構成的な検索において依然として限界を抱えており、同じ概念を含みながら属性と物体の結びつきが異なる場面を区別できないことが多い（24 upvotes）。ところが同一のバックボーンでも、cross-attentiveなリランカとして用いれば、こうした区別を解決できる。この非対称性が、リランカの構成的判断を埋め込みモデルへ蒸留するという着想の動機となっている。
新規性: 埋め込みモデルの弱点を、知識の欠如ではなく表現形式による制約として同定した点が中核である。同じ重みでも、クエリと候補を交差注意させれば属性と物体の結びつきを判定できるのに、独立に符号化して内積を取る形式ではその判定が消える——モデルは知っているが、埋め込みという器がその情報を運べていない。リランカからの蒸留は、この器の制約を訓練信号で補おうとするものである。
手法: 候補リストを合成し、cross-attentiveリランカによる構成的な判定を教師信号として埋め込みモデルへ蒸留する。
RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests
コーディングエージェントは現在、SWE-bench系のベンチマークで評価されるのが一般的である。それらのタスクは厳選されたGitHub issueから構築されており、長く、構造化され、情報量が豊富である（24 upvotes）。しかし現実のユーザからの依頼は、はるかに短く、構造化されていないのが通例である。本研究はこのギャップを特徴づけるため、6カテゴリの情報分類と4次元の言語的スタイルを定義し、実際のユーザプロンプトへ適用する。
新規性: エージェント評価の妥当性を、タスクの難易度ではなく入力の情報量という軸で問い直した点が中核である。よく書かれたissueは、何を直すか・どこが壊れているか・どう再現するかが既に整理されている——その状態から始める評価は、実際の利用で最も頻繁に起きる「情報が足りない依頼の解釈」を丸ごと迂回している。情報カテゴリとスタイル次元を分解して組み合わせる構成的な評価設計は、この迂回されてきた部分を独立に測ることを狙う。
手法: 6カテゴリの情報分類と4次元の言語的スタイルを定義し、実ユーザのプロンプトに適用してSWE-bench系タスクとの差分を特徴づけ、構成的な評価を構築する。
分野別の動向
生成物の制御性と編集可能性
今日の生成系で共通しているのは、出力の品質ではなく出力に対する操作可能性が主題になっている点である。Editable Visual Designは、拡散モデルが返す平坦なビットマップではレイヤー単位の後編集ができず、コーディングエージェント経由の生成は構造を保つ代わりに美的な直観を欠くという二分を出発点に置く。The Missing Temporal Linkは音声・映像生成において、同期精度は改善されてもショット転換や発話の時点を指定できないことを問題とし、脚本駆動の制作という用途からその制約を照らす。いずれも「生成できるか」ではなく「生成した後に指示どおり動かせるか」を評価軸に据えている。
評価とベンチマークの再設計
評価側では、既存ベンチマークが測れなくなった領域を名指しする研究が並んだ。Last Translation Benchmarkは機械翻訳の標準ベンチマークの飽和と、報酬ハッキングに脆弱で行動につながらない自動指標を同時に問題とする。RealSWEはSWE-benchのタスクが厳選されたGitHub issue由来であるために情報が過剰に整っている点を突き、実ユーザの短く非構造的な依頼との差を情報カテゴリと言語スタイルへ分解する。同日のPrincipiaは動画モデルの物理推論評価において、フレームレートや物体スケールに依存する絶対量の測定を避け、同一シーン内の二物体が同じ法則に従うことから導かれる関係性で評価する設計を採る。WorldRewardはカメラ条件付き世界モデルに対し、幾何ベース報酬と画像ベース報酬が別々に測ってきた要件を統合しようとする。測定対象の再定義という点で、これらは同じ問題意識に立っている。
3D表現の効率とスケーラビリティ
3D側は、長尺化と低予算化という二つのスケーリング制約への応答が中心となった。Scal3Rは、オンライン3D再構成が長尺動画で崩壊する原因を第一フレーム固定アンカーへの姿勢回帰に帰し、フレームごとの深度は安定し続けるという観測から相対姿勢クエリへ切り替える。ZipTok3Dは、空間分割型・固定グローバル型のいずれの3Dトークナイザも極低トークン予算で急激に劣化する点に対し、コンパクトな接頭辞へ情報を集約する構成を採る。どちらも表現能力の上限ではなく、資源制約下での劣化の仕方を設計対象にしている。
マルチモーダル検索と埋め込み
検索系では、生成モデルの転用という慣行そのものが見直されている。NeoMMEは、ColPali系の視覚文書検索器が生成用VLMのパラメータと計算を非生成タスクへ持ち込んでいる点を指摘し、単一タワーのマルチモーダル・ネイティブなエンコーダを260M / 800Mで構築する。COREは、同一バックボーンでもcross-attentiveリランカなら解ける属性と物体の結びつきの区別が、埋め込みという形式では失われることを示し、リランカの判断を蒸留で埋め込み側へ移す。同日のBeyond Visual Similarityも、KB-VQAの検索がCLIP系デュアルエンコーダによって表層的な視覚類似度に引きずられ、エンティティレベルの意味的整合を取り損なう点を扱っている。埋め込みが何を運べていないかという問いが共通する。
エージェント最適化と長期メモリ
エージェント側では、最適化の対象範囲を広げる動きと、記憶の持ち方を変える動きが見られる。WHALEはモデル重みと実行ハーネスを同時最適化の対象とし、片方を凍結した最適化がもう片方をボトルネックとして残す構造を扱う。Beyond Retrievalはストリーミング動画理解において、外部メモリバンクへ圧縮して検索するstore-and-retrieveから、潜在メモリを漸進的に進化させる方式へ移す。同日のUsing Grounded Theory for Agent Behavior Analysis at Scaleは、事前構築の分類器が通用しない長大な軌跡の分析へ社会科学の質的手法を持ち込み、飽和基準と監査可能な追跡経路を伴うかたちで大規模化を図る。