Ramp Labs presenta una solución de compartición de memoria multiagente que reduce el consumo de tokens hasta en un 65 %.

BlockBeats News, 11 de abril: La empresa de infraestructura de IA Ramp Labs publicó los resultados de su investigación sobre "Latent Briefing", que logra un uso compartido eficiente de la memoria entre sistemas multiagente mediante la compresión directa de la caché KV de modelos a gran escala, lo que reduce significativamente el consumo de tokens sin sacrificar la precisión.

En las arquitecturas multiagente convencionales, el orquestador descompone las tareas y llama repetidamente a los modelos de trabajador. A medida que se extiende la cadena de inferencia, el uso de tokens aumenta exponencialmente. La idea central de Latent Briefing es aprovechar el mecanismo de atención para identificar las partes verdaderamente críticas en el contexto, descartando directamente la información redundante en la capa de representación, en lugar de depender del resumen LLM de baja velocidad o de la recuperación RAG inestable.

En la prueba de rendimiento LongBench v2, este método tuvo un desempeño notable: El consumo de tokens del modelo de trabajador disminuyó en un 65%, el ahorro medio de tokens para documentos de longitud media (de 32k a 100k) alcanzó el 49%, la precisión general mejoró en aproximadamente 3 puntos porcentuales en comparación con la línea base, y el tiempo adicional para cada compresión fue de solo unos 1,7 segundos, logrando una aceleración de aproximadamente 20 veces en comparación con el algoritmo original.

El experimento utilizó a Claude Sonnet 4 como orquestador y a Qwen3-14B como modelo trabajador, abarcando diversos escenarios documentales como artículos académicos, documentos legales, novelas e informes gubernamentales. La investigación también reveló que el umbral de compresión óptimo varía según la dificultad de la tarea y la longitud del documento: las tareas difíciles son adecuadas para una compresión agresiva que filtre el ruido del razonamiento especulativo, mientras que los documentos largos son más adecuados para una compresión suave que conserve la información clave dispersa.