Pesquisadores introduziram "diretrizes de consistência" dentro do sistema ALTK-Evolve, um novo mecanismo projetado para abordar a variabilidade no desempenho de agentes LLM que métricas padrão de precisão média frequentemente ocultam. Ao identificar e estabilizar pontos de decisão propensos a oscilações, essa abordagem melhora significativamente a consistência do sucesso da tarefa sem sacrificar a capacidade geral.

  • O Analisador de Consistência detecta etapas "propensas a oscilações" ao reamostrar uma única trajetória gravada com k=5 conclusões, não exigindo verdadeiros fundamentos ou execuções completas de ponta a ponta.
  • No teste AppWorld test_normal com um agente ReAct usando GPT-4.1, as diretrizes de consistência reduziram a lacuna de consistência (Mean@5 menos Pass^5) de 24,4 pontos percentuais para 12,0 pontos percentuais.
  • O Pass^5 agregado aumentou de 53,0% para 69,0%, enquanto o Mean@5 subiu ligeiramente de 77,4% para 81,0%, preservando a precisão média.
  • O método generaliza-se para tarefas semelhantes, elevando o Pass^5 em 13,0 pontos percentuais, e mostra ganhos transferíveis em modelos mais fracos como gpt-oss-120b.

Este trabalho destaca que a consistência é um eixo ortogonal à capacidade, instigando desenvolvedores a relatar o Pass^k junto com o Mean@k para avaliar melhor a confiabilidade de agentes em ambientes de produção.