Pesquisadores lançaram o Terminal-Bench 2.0, um benchmark projetado para avaliar agentes de IA em tarefas de interface de linha de comando difíceis e realistas que as métricas atuais não conseguem capturar de forma significativa.
O benchmark consiste em 89 tarefas cuidadosamente curadas dentro de ambientes de terminal de computador, cada uma com configurações únicas, soluções escritas por humanos e testes de verificação abrangentes. Os resultados da avaliação mostram que modelos e agentes de ponta obtêm menos de 65% nessas tarefas. Os autores conduziram uma análise de erros para identificar áreas específicas de melhoria nas capacidades dos modelos e agentes.
O conjunto de dados e o framework de avaliação foram publicados para auxiliar desenvolvedores e pesquisadores no avanço da conclusão autônoma de tarefas em ambientes de terminal.