Los investigadores han introducido "directrices de consistencia" dentro del sistema ALTK-Evolve, un nuevo mecanismo diseñado para abordar la variabilidad en el rendimiento de los agentes LLM que a menudo ocultan las métricas estándar de precisión promedio. Al identificar y estabilizar los puntos de decisión propensos a cambios, este enfoque mejora significativamente la consistencia del éxito de la tarea sin sacrificar la capacidad general.
- El Analizador de Consistencia detecta pasos "propensos a cambios" mediante el remuestreo de una única trayectoria registrada con k=5 completados, sin requerir verdad fundamental ni ejecuciones finales de extremo a extremo.
- En AppWorld test_normal con un agente ReAct que usa GPT-4.1, las directrices de consistencia redujeron la brecha de consistencia (Mean@5 menos Pass^5) de 24,4 puntos porcentuales a 12,0 puntos porcentuales.
- El Pass^5 agregado aumentó de 53,0% a 69,0%, mientras que Mean@5 subió ligeramente de 77,4% a 81,0%, preservando la precisión promedio.
- El método se generaliza a tareas similares, elevando el Pass^5 en 13,0 puntos porcentuales, y muestra ganancias transferibles en modelos más débiles como gpt-oss-120b.
Este trabajo destaca que la consistencia es un eje ortogonal a la capacidad, instando a los desarrolladores a informar Pass^k junto con Mean@k para evaluar mejor la fiabilidad de los agentes en entornos de producción.