Ramp Labs提出多智能体記憶共享新方案,Token消耗最高降低65%

By: theblockbeats.news|2026/04/11 14:02:27
0
分享
copy

BlockBeats 消息,4 月 11 日,AI 基礎設施公司 Ramp Labs 發布研究成果「Latent Briefing」,通過直接壓縮大型模型 KV 快取實現多智能體系間的高效記憶共享,在不損失準確率的前提下大幅降低 Token 消耗。


在主流多智能體架構中,編排者(Orchestrator)將任務拆解並反覆調用工作者(Worker)模型,隨著推理鏈路不斷延伸,Token 用量呈指數級膨脹。Latent Briefing 的核心思路是:借助注意力機制識別上下文中真正關鍵的部分,在表示層直接丟棄冗余信息,而非依賴速度慢的 LLM 摘要或穩定性差的 RAG 檢索。


在 LongBench v2 基準測試中,該方法表現亮眼:Worker 模型 Token 消耗降低 65%,中等長度文檔(32k 至 100k)的 Token 節省中位數達 49%,整體準確率較基線提升約 3 個百分點,而每次壓縮的額外耗時僅約 1.7 秒,較原始算法提速約 20 倍。


實驗以 Claude Sonnet 4 作為編排者、Qwen3-14B 作為工作者模型,覆蓋學術論文、法律文書、小說及政府報告等多類文檔場景。研究還發現,最優壓縮閾值因任務難度和文檔長度而異——難題適合激進壓縮以過濾投機性推理噪音,長文檔則更適合輕度壓縮以保留分散的關鍵信息。

-- 價格

--

猜你喜歡

熱門幣種

最新加密貨幣要聞

閱讀更多