Benchmark · agentic
Terminal-Bench
O Terminal-Bench avalia quão bem agentes de IA concluem tarefas reais de linha de comando em um terminal, como instalar software, depurar e realizar operações de sistema. A pontuação é a porcentagem de tarefas que o agente conclui com sucesso.
Saiba mais
- Exemplo
- Uma tarefa típica dá ao agente um ambiente quebrado ou vazio e pede que ele o leve a um estado funcional — por exemplo, instalar as dependências certas e corrigir a configuração para que um programa rode, tudo por meio de comandos do terminal.
- Pontuação
- Cada tarefa é avaliada como aprovada ou reprovada conforme o agente tenha atingido o estado final exigido, e a pontuação do benchmark é a porcentagem de tarefas resolvidas sobre o total.
- Verificação
- Um resultado só é aceito se verificações automáticas dentro de um ambiente isolado (sandbox) confirmarem que o objetivo pretendido da tarefa foi alcançado — não por votos humanos nem por correspondência exata de texto.
- Por que importa
- Habilidades de terminal — instalar, depurar e operar sistemas pela linha de comando — são centrais no trabalho real de engenharia, então este benchmark mostra se um agente consegue agir de forma autônoma e confiável em uma linha de comando de verdade. Sua versão 2.x, mais difícil, mantém a régua subindo à medida que os agentes melhoram.
Exemplo resolvido
Tarefa
Em um contêiner Docker do Terminal-Bench, o arquivo /app/access.log contém logs de acesso do Apache. Escreva um único comando que conte o número de endereços IP de cliente distintos (o primeiro campo separado por espaços de cada linha) e salve apenas esse número em /app/answer.txt.
Solução
awk '{print $1}' /app/access.log | sort -u | wc -l > /app/answer.txtExplicação
awk imprime o primeiro campo (o IP do cliente) de cada linha do log, sort -u remove duplicatas e wc -l conta os IPs únicos restantes, redirecionando o resultado para /app/answer.txt. O Terminal-Bench avalia executando no contêiner um teste pytest que lê /app/answer.txt e verifica se é igual ao número conhecido de IPs únicos.