Los investigadores presentan un método de ejecución especulativa para agentes LLM que equipa al especulador con tres sistemas de memoria en línea para aprender de trayectorias pasadas, abordando la limitación de los especuladores existentes sin estado. El enfoque utiliza una tabla de transiciones contrastiva, memoria episódica y un rastreador de confusión para mejorar la calidad de la predicción con el tiempo.
- La especulación aumentada por memoria produce una mejora relativa de precisión del 19--39% en los benchmarks de predicción de acciones.
- Las tareas de predicción de observaciones ven hasta un aumento de 2.5x en el rendimiento con espacios de acción repetitivos.
- Las ganancias crecen continuamente a medida que se acumula la memoria y se generalizan entre modelos de especulador de diferentes costos.
- Toda la especulación ocurre durante el tiempo inactivo, resultando en cero costo adicional de reloj de pared y trayectorias del actor idénticas.
Este método proporciona aceleración sin pérdidas para agentes LLM aprovechando datos históricos para mejorar la precisión de la predicción sin afectar la velocidad o corrección de la ejecución.