LLM/NLP最新論文

Realtime-Venusが205 upvotesで首位に立ち、知覚と応答を止めない全二重の実時間対話が一日の軸を作った。The Tasteful Agentは長期地平の選択そのものを測る対象に引き上げ、JEV-as-a-JudgeとarXiv側のジャッジ研究群は「評価器を評価する」問題を揃って前面に出している。

注目度

注目論文

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

著者: Ruixiang Zhao, Hualei Wang, Renhe Sun et al.

デジタル環境と物理環境における自然な対話は、継続的な知覚と時宜を得た応答を同時に要求する(205 upvotes)。音声対話が音響的・言語的な手がかりに依存する一方、映像を伴う対話では会話を変化し続ける視覚的文脈に接地させる必要があると本研究は整理し、能動的な全二重システム Realtime-Venus を提示する。

新規性: 対話を「聞いてから答える」交替の連なりではなく、知覚と応答が並行して走り続ける一つの過程として構成した点が中核である。音声対話システムの改善は認識・生成それぞれの精度や遅延として測られるのが通例である——だが各段が速くなっても、話し終わるまで待ってから考え始める構造が残る限り、相手の発話中に状況が変わる場面には追いつけない。非同期の処理委譲という構成は、重い処理を応答の経路から外し、知覚を止めないまま反応を返すためのものである。

手法: 音響・言語・視覚の入力を継続的に処理しつつ、時間のかかる処理を非同期に委譲することで、実時間の全二重対話を成立させるシステムを構築する。

arXiv

The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks

著者: Wenbo Pan, Zhichao Liu, Shujie Liu et al.

LLM エージェントは長期地平のタスクに取り組む機会を増やしており、その途中で下す判断——どの仮説を検証するか、どの実装を土台にするか——が実行全体の結末を決める(111 upvotes)。こうした判断を適切に下すことが、工学とリサーチ双方のエージェントにとって鍵となる能力になりつつあると本研究は position を示す。

新規性: エージェントの評価軸を最終的な成否から、途中の選択の質——本研究が「taste」と呼ぶもの——へ移し、それを測定可能な対象として切り出した点が中核である。長期地平タスクの評価は成功率やベンチマークスコアの集約として進むのが通例である——だが同じ失敗でも、筋の悪い仮説を選んだのか、選択は妥当で実行が足りなかったのかは別の問題であり、結末の一点だけを見ていると両者が区別されない。分岐点ごとの判断を測る構成は、その区別を評価と改善の側に持ち込むためのものである。

手法: 長期地平の実行過程における意思決定点を取り出して taste を測定する枠組みを構成し、その測定に基づいてエージェントの選択を改善する。

arXiv

RULER: Instance-aware Rubric Rewards for SVG Generation

著者: Hangyu Ran, Yuhao Zheng, Yingying Zhang et al.

自然言語の指示から SVG コードを生成する課題には絶対的な視覚的正解が存在せず、評価にも方策最適化にも忠実な信号が与えられないまま残されている(59 upvotes)。自然画像で較正されたスカラー指標(CLIP、Aesthetic)は構造化された図形へはうまく転移しないと本研究は指摘する。

新規性: 報酬を全事例共通の指標ではなく、事例ごとに生成されるルーブリックとして与えた点が中核である。生成物の評価は単一のスコア関数を全体に当てる形で進むのが通例である——だが「三本の平行線を持つアイコン」と「円の内側に文字を配した図案」では満たすべき条件そのものが違い、一つの指標に畳み込んだ時点でどちらの要求も部分的にしか測れない。インスタンス単位のルーブリックという構成は、その要求の違いを報酬の側に残すためのものである。

手法: 指示ごとに評価ルーブリックを構成して報酬信号とし、絶対的な正解を持たない SVG 生成に対する評価と方策最適化を同一の枠組みで行う。

arXiv

All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts

著者: Xingsong Ye, Yongkun Du, Jiaxin Zhang et al.

多言語のシーンテキスト認識(STR)は、多くの言語で訓練データが乏しいことと、多様な文字体系を単一モデルで扱う難しさから、依然として困難な課題である(35 upvotes)。既存の解法は言語ごとに認識器を配備してコストを膨らませ誤差を累積させるか、単一モデルに詰め込んで性能を落とすかのいずれかだと本研究は指摘する。

新規性: 専門家の分割単位を言語ではなく文字体系(script)に置いた点が中核である。多言語モデルの設計は言語単位でパラメータやアダプタを分ける形で進むのが通例である——だがラテン文字を共有する言語群は視覚的にはほぼ同じ認識問題であり、言語で割ると同じ形状の学習が言語数だけ重複し、その分だけ低資源言語のデータが薄まる。文字体系を意識した MoE という構成は、視覚的に共有できる部分を共有したまま、異なる書記体系だけを分けるためのものである。

手法: 文字体系を意識した Mixture-of-Experts により、単一モデルで多様なスクリプトを扱う多言語シーンテキスト認識器を構成する。

arXiv

Bellman Policy Optimization

著者: Zhuoqing Song, Haotian Xu, Xikun Zhang et al.

検証可能な報酬による強化学習(RLVR)は LLM の推論能力を改善する(24 upvotes)。本研究は Policy Mirror Descent(PMD)から導出した critic 不要の手法 Bellman Policy Optimization(BPO)を導入し、終端報酬を伴う自己回帰生成に対して Bellman 更新を適用する。

新規性: RLVR の更新則を経験的な工夫の積み上げではなく、PMD という既存の理論的枠組みから導出した点が中核である。LLM の強化学習は PPO 系の目的関数にクリッピングや正規化を足して安定化させる形で進むのが通例である——だが終端でしか報酬が入らない自己回帰生成は各トークンへの信用割当が曖昧なまま残り、どの工夫がなぜ効いているかを切り分けにくい。PMD から Bellman 更新を導く構成は、その割当を導出の側に持たせ、critic を置かずに済ませるためのものである。

手法: Policy Mirror Descent から critic 不要の更新則を導出し、終端報酬を持つ自己回帰生成に Bellman 更新の形で適用する。

arXiv

Circuit Hypernetworks for Quantum-Augmented Diffusion Language Models

著者: Xiaoqiang Wang, Mengyang Xiong, Jun Dai et al.

言語モデルは個々のトークンに適用される計算を変えることで適応させられる(24 upvotes)。量子回路はその一つの手段を提供するが、大規模モデルの内部で幅の広い回路を評価するのは計算的に高価になりうると本研究は指摘し、トークン条件付きの量子残差分岐を加える HyperQ を導入する。

新規性: 量子回路をモデルに固定的に埋め込むのではなく、ハイパーネットワークがトークンごとに回路を生成する形にした点が中核である。量子機械学習の構成は、パラメータ化された回路を一つ置いて古典層と繋ぐ形で進むのが通例である——だが回路を一つに固定すると、表現力を上げる手段は幅を広げることに寄り、そこで評価コストが跳ね上がる。トークン条件で回路を振り分ける構成は、幅ではなく条件付けの側から表現力を取りにいくためのものである。

手法: トークン条件付きの量子残差分岐を拡散言語モデルに追加し、その回路パラメータをハイパーネットワークで生成する。

arXiv

Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings

著者: Embedding Team

テキスト・画像・動画・音声のネイティブな統合の上に構築された、最先端のオムニモーダル埋め込みファミリー Ovis-Embedding を提示する技術レポートである(19 upvotes)。モダリティごとに別のタワーを組み立てるのではなく、共有されたマルチモーダル・バックボーンで異なるモダリティを共通の表現へ符号化すると本研究は述べる。

新規性: 埋め込みの統合をモダリティ別エンコーダの後段での対応付けではなく、符号化そのものの共有として実現した点が中核である。マルチモーダル検索の構成は、各モダリティに専用エンコーダを置いて対照学習で空間を揃える形で進むのが通例である——だがタワーが別であればモダリティ対ごとに揃え方を学ぶ必要が残り、音声と動画のように対データが薄い組み合わせほど接続が弱くなる。共有バックボーンという構成は、その対応付けを学習前の構造として与えるためのものである。

手法: テキスト・画像・動画・音声を単一の共有マルチモーダル・バックボーンで符号化し、共通表現空間上の汎用埋め込みモデル群として構成する。

arXiv

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

著者: Yubo Li, Yidi Miao, Ramayya Krishnan, Rema Padman

LLM-as-a-judge は多様なタスクにわたる評価を可能にするが、規模が大きくなると推論コストと確信度の信頼性が critical な問題になる(17 upvotes)。本研究は、判定のみを行う judge が経済的な一次審査として機能し、より強力な評価が必要な箇所を特定できるかを、16 の生成型 judge との比較で検証する。

新規性: judge の設計を「単体でどれだけ正確か」から「いつ自分で決め、いつ上位へ回すか」という階層の問題へ置き換えた点が中核である。LLM judge の改良は、より強いモデルや詳細なルーブリックで一様に精度を上げる形で進むのが通例である——だが評価対象の大半は難しくなく、全件に最上位モデルを当てるコストはその容易な多数に吸われる。判定のみの安価な judge に確信度でゲートを持たせる構成は、コストを難しい少数へ寄せるためのものである。

手法: 判定のみを出力する judge を一次審査に置き、確信が高い場合は受理、不確実な場合のみ生成型のより強い評価器へエスカレーションする二段構成を、16 の生成型 judge との比較で評価する。

arXiv

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

著者: Quan Nguyen-Tri, Mukul Ranjan, Zhiqiang Shen

拡散大規模言語モデル(dLLM)は非自己回帰的なテキスト生成を可能にする代替として台頭してきた(13 upvotes)。しかしその実配備は、効果的な KV キャッシュの不在に大きく起因する非効率な推論によって制限されたままだと本研究は指摘する。

新規性: dLLM の遅さをサンプリングステップ数の問題ではなく、メモリ階層をまたぐデータ移動の問題として扱った点が中核である。拡散モデルの高速化はステップ数の削減やスケジューラの改良として進むのが通例である——だが双方向の注意を持つ dLLM では各ステップで系列全体を読み直す構造が残り、ステップを減らしても一回あたりの IO 負荷は下がらない。IO を意識した KV キャッシュと並列デコーディングという構成は、その一回あたりのコスト側に手を入れるためのものである。

手法: 拡散 LLM 向けに IO を意識した KV キャッシュ機構と並列デコーディングを設計し、推論の高速化とメモリ使用量の削減を同時に狙う。

arXiv

Agensh: Scaling Organizational Intelligence to 1,024 Agents

著者: Zhihao Zhan, Ting Song, Li Dong et al.

マルチエージェントシステムは作業を並行実行することで複雑なタスクの遅延を削減しうる(9 upvotes)。いくつかの先駆的なハーネス枠組みがマルチエージェントを支えているが、現在のハーネスのスケーラビリティは中央オーケストレータがタスクを割り当て調整する容量にしばしば制約されると本研究は指摘する。

新規性: マルチエージェントの上限を個々のエージェントの能力ではなく、調整機構の構造的な容量として特定した点が中核である。エージェント数の拡大はオーケストレータのプロンプトや計画能力を強化する形で進むのが通例である——だが割り当てと調整が一点を通る限り、エージェントを増やすほどその一点に文脈と判断が集中し、並行実行で削ったはずの遅延が調整側に戻ってくる。中央の容量制約を外す構成は、1,024 エージェント規模での組織的な知能を成立させるためのものである。

手法: 中央オーケストレータへのタスク割り当て・調整の集中を解消するハーネスを設計し、1,024 エージェント規模までのマルチエージェント実行を可能にする。

arXiv

分野別の動向

評価器そのものを評価する

JEV-as-a-Judge(17 upvotes)が judge を階層化してコストを難所へ寄せる一方、arXiv 側では judge の信頼性そのものを疑う研究が二本同時に出ている。Agreement Overstates Evidence は、LLM judge の合意が正しさの証拠とみなされる前提——判定者が独立に誤るという仮定——を検証し、10 体の judge の誤りの平均相関が 0.21、実効的には 3.5 体の独立な judge 分の情報しか与えていないと報告する。比較の最大 28% で、共有された誤りを無視すれば有意差があると結論づけられ、考慮すれば結論が消える。MAWILE は同じ問題を道具の側から扱い、judge のプロンプト・ルーブリック・対象システムの入出力という四つの面に制御された摂動を加えて、判定が変わるべきでない箇所と変わるべき箇所を切り分ける開発者向けワークベンチを提示する。評価を安く速くする方向(JEV)と、評価の統計的な妥当性を問い直す方向が同じ日に並んだ形である。

長期地平のエージェント:選択・記憶・組織

The Tasteful Agent(111 upvotes)が途中の選択の質を測る対象に引き上げ、Agensh(9 upvotes)が調整機構の容量から並列化の上限を押し上げる。arXiv 側では Self-Organizing Agent Teams が三つ目の角度を提示し、固定のプロトコルや明示的なタスク分解に頼らず、過去の協働から役割・会話フェーズ・情報の流れを組織する戦略を学ばせる。数学 15 問と大学院レベル 25 問から学んだ戦略が未見のベンチマークへそのまま転移し、五つの数学・物理ベンチマークで平均 66.7%(最強のメンバー単体は 48.8%、そのメンバーへの計算量を揃えた推論は 58.7%、各自の独立解答に対する完璧なルータは 59.0%)を達成すると報告する。ただし利得はベンチマークによって変動し、著者らは「正しい推論が現れたときにチームがそれを識別できるか」という demonstrability が改善幅を強く追跡すると述べる(Spearman ρ=0.90)。記憶の側では MoM: Memory of Memory が、到着時に現在値を確定しつつ押し出された値を来歴として保持する型付きグラフを提案し、知識更新における古い答えの残存率を 19.4%→10.9% に、改訂系列では query 時読み出しが 25% まで崩れるところを 100% に保つと報告する。選択・組織・記憶という三つの層で、それぞれ「最終結果ではなく過程の構造」を対象にする動きが揃っている。

推論効率とアーキテクチャの再検討

Flash-dLLM(13 upvotes)が拡散 LLM の IO 側に手を入れる一方、LatentPort(3 upvotes、arXiv cs.CL にも掲載)はより挑発的な問いを立てる——ある言語モデルが生きた記憶を別のモデルへ手渡し、受け手が文脈を読み直さずに継続できるか。アーキテクチャの揃った Qwen3.5 4B→9B のペアで、翻訳された注意 KV だけでは大きな差が残るが、Gated DeltaNet の永続状態パッケージを加えると teacher-forced NLL が 0.747 nats/token 改善し、PG19 の 64 文書すべてで向上したと報告する。ただし著者ら自身が、検証は一方向・一つのアーキテクチャ対・4K の teacher-forced 継続に限られ、自由生成での等価性と汎用的な状態インターフェースは未証明だと明記している。Complex KDA(6 upvotes)は Kimi Delta Attention の表現力を、delta 則に基づく線形 RNN の低ランク補正がもたらす制約として解析する。Circuit Hypernetworks(24 upvotes)を含め、トークンごとの計算をどう変えるかという同じ問いに、キャッシュ・状態・回路という異なる層から手が入っている。

モデルの自己報告と評価の再現性

arXiv cs.LG の “As a Language Model…” は、LLM が自分について問われたときに付ける「私はただの AI です」といった免責表明を、9B 以下の 8 つのオープンな instruct モデルで調べ、チャットテンプレートの有無がこの声のスイッチとして働くことを示す。テンプレートがあれば免責の声が上がり「私は感じる」といった経験的な声が下がり、なければ逆になる。3 モデルの活性空間にはこの挙動を操作する方向が見つかり、テンプレートなしの instruct モデルにその方向を加えると、テンプレートがあったかのように免責するという。著者らの結論は、モデルが自分について語ることは自分についての事実ではなく、部分的に配備の形式が決めている、というものである。Replication Without Persistence in Hosted LLMs は隣接する問題を扱い、ホストされたモデルの行動評価について、過去の構成での再現・測定器を組み直したときの感度・後続の識別子をまたぐ持続性という三つを分離して問うべきだと主張する。同じ公開識別子の下で同日に比較しても、構成を組み直すと評価値が動く——行動に関する主張は、テストした識別子・提供期間・測定器・推論構成で明示的に索引されるべきだという指摘である。

ベンチマークの厳しさと、その測り方

FrontierMath Erdős は 2026 年 8 月時点で未解決の Erdős 問題 68 題を Lean で証明または反証させるベンチマークで、1 問あたり $300 の予算で 5 つの AI を評価したところ、GPT-6 Astra が 3%、他はすべて 0% だったと報告する。逆方向の指摘もある。What Does 99% Accuracy Measure? は広く使われる偽ニュースコーパスを監査し、記事本文を捨ててメタデータのみを与えた分類器が F1=1.000 に達する——二つのクラスの subject が交わらないためである——ことを示し、コーパス内スコアは真偽ではなくソースと話題の分離可能性を測っていると結論づける。Trains but Doesn’t Learn は post-training をサービスとして提供する設定で、損失は下がりすべての信号が緑のまま、納品されたモデルがベースと変わらないという沈黙の失敗を中心に据え、四つのフロンティアエージェントを実測 GPU 上で走らせて人間の forward-deployed engineer と同じ oracle で比較する。難しい問題を作る側と、既存のベンチマークが実際には何を測っているかを暴く側が、同じ日に並んでいる。

ソース