Tether 開源 TurboQuant,本地 AI 設備 KV 快取壓縮比最高可達 5 倍

By: rootdata|2026/06/02 04:45:00
0
分享
copy

ChainCatcher 消息,Tether AI 研究團隊宣布開源 TurboQuant 生產版本,並將其整合至 QVAC SDK 0.12.0。

TurboQuant 源自 Google Research 的內存壓縮算法,可將 AI 運行時的 KV 快取壓縮最高 5 倍,同時保持接近未壓縮模型的輸出質量。

這意味著筆記本電腦、手機及邊緣設備在無需將數據上傳至雲端的情況下,可處理更長的對話、更大的文件及更複雜的任務。

此次開源發布包含完整量化流水線、主流推理框架適配器及開發者文檔,面向在消費級硬體、邊緣設備及點對點網絡上部署 AI 的開發者和初創團隊。

猜你喜歡

熱門幣種

最新加密貨幣要聞

閱讀更多
iconiconiconiconiconiconiconiconicon
客戶服務:@weikecs
商務合作:@weikecs
量化做市商合作:bd@weex.com