Los investigadores presentan un benchmark para evaluar cómo los agentes LLM se adaptan cuando la fiabilidad de las herramientas disponibles cambia silenciosamente durante una sesión en curso. El framework monta bibliotecas de habilidades de herramientas con redundancias y utiliza un horario ramificado para cambiar el grupo de herramientas fiables en límites ocultos.
- Los agentes por defecto tienden a asentarse en una rutina recurrente pequeña dentro de unos pocos turnos de cada límite, concentrando las cuotas de llamada en valores discretos.
- La precisión del cambio de conjunto se puntúa como la probabilidad conjunta de enrutar al grupo de herramientas objetivo en cada ventana posterior al cambio.
- El testing de LLMs de peso abierto en un arnés agénico de código abierto revela modos de fallo cualitativamente distintos a través de las mismas rutinas.
- El estudio encuentra que el encuadre del conjunto, presentar herramientas como competidoras o complementarias, cambia la dinámica de enrutamiento.
Esta evaluación resalta modos de fallo específicos y el impacto de la presentación de herramientas en el comportamiento del agente al enfrentar cambios de fiabilidad ocultos.