Pesquisadores introduzem um benchmark para avaliar como agentes LLM se adaptam quando a confiabilidade das ferramentas disponíveis muda silenciosamente durante uma sessão em andamento. O framework monta bibliotecas de habilidades de ferramentas com redundâncias e usa um cronograma ramificado para mudar o grupo de ferramentas confiáveis em limites ocultos.
- Agentes por padrão tendem a se estabelecer em uma rotina recorrente pequena dentro de algumas rodadas de cada limite, concentrando cotas de chamada em valores discretos.
- A precisão da mudança de conjunto é pontuada como a probabilidade conjunta de rotear para o grupo de ferramentas alvo em cada janela pós-mudança.
- O teste de LLMs de peso aberto em uma estrutura agênica de código aberto revela modos de falha qualitativamente distintos através das mesmas rotinas.
- O estudo encontra que o enquadramento do conjunto, apresentar ferramentas como competidoras ou complementares, muda a dinâmica de roteamento.
Esta avaliação destaca modos de falha específicos e o impacto da apresentação de ferramentas no comportamento do agente ao enfrentar mudanças de confiabilidade ocultas.