Pesquisadores introduzem um método de execução especulativa para agentes LLM que equipa o especulador com três sistemas de memória online para aprender com trajetórias passadas, abordando a limitação dos especuladores stateless existentes. A abordagem utiliza uma tabela de transição contrastiva, memória episódica e um rastreador de confusão para melhorar a qualidade da previsão ao longo do tempo.
- A especulação aumentada por memória resulta em uma melhoria relativa de precisão de 19--39% nos benchmarks de previsão de ações.
- Tarefas de previsão de observação veem até um aumento de 2.5x no desempenho com espaços de ação repetitivos.
- Os ganhos crescem continuamente à medida que a memória se acumula e generalizam-se entre modelos de especulador de diferentes custos.
- Toda a especulação ocorre durante o tempo ocioso, resultando em custo zero adicional de relógio de parede e trajetórias do ator idênticas.
Este método fornece aceleração sem perdas para agentes LLM ao aproveitar dados históricos para melhorar a precisão da previsão sem impactar a velocidade ou correção da execução.