Les chercheurs présentent une méthode d'exécution spéculative pour les agents LLM qui équipe le spéculateur de trois systèmes de mémoire en ligne pour apprendre des trajectoires passées, palliant ainsi la limitation des spéculateurs sans état existants. L'approche utilise une table de transition contrastive, une mémoire épisodique et un suivi de confusion pour améliorer la qualité des prédictions au fil du temps.
- La spéculation augmentée par mémoire offre une amélioration relative de précision de 19--39% sur les benchmarks de prédiction d'actions.
- Les tâches de prédiction d'observation voient leurs performances augmenter jusqu'à 2,5x avec des espaces d'action répétitifs.
- Les gains croissent continuellement à mesure que la mémoire s'accumule et se généralisent à travers des modèles de spéculateurs de coûts variés.
- Toute la spéculation s'exécute pendant les temps inactifs, résultant en un coût horloge nul supplémentaire et des trajectoires d'acteur identiques.
Cette méthode fournit une accélération sans perte pour les agents LLM en exploitant les données historiques pour améliorer la précision des prédictions sans impacter la vitesse ou la correction de l'exécution.