O desenvolvedor do framework de IA local OpenFox implementou um recurso chamado "aquecimento especulativo de cache" que processa o prompt do sistema e o array de ferramentas enquanto o usuário digita sua entrada. Essa otimização permite que o modelo comece a processar dados de contexto estático antes que o prompt real seja enviado, reduzindo efetivamente a latência experimentada ao iniciar uma nova sessão.

  • O prompt do sistema (contendo AGENTS.md e preferências) e o array de ferramentas são processados em segundo plano durante a digitação.
  • Quando o usuário envia o prompt, apenas o texto restante do prompt precisa ser processado pelo LLM.
  • A uma velocidade de processamento de 500 tokens por segundo, este método economiza aproximadamente entre 10 e 20 segundos de tempo de espera.

Esta alteração torna a interação com LLMs locais mais responsiva e reduz o tempo ocioso tipicamente associado à inicialização de uma nova sessão.