Benchmark · agentic
Terminal-Bench
Terminal-Bench evalúa qué tan bien los agentes de IA completan tareas reales de línea de comandos en una terminal, como instalar software, depurar y realizar operaciones del sistema. La puntuación es el porcentaje de tareas que el agente termina con éxito.
Leer más
- Ejemplo
- Una tarea típica le da al agente un entorno roto o vacío y le pide llevarlo a un estado funcional; por ejemplo, instalar las dependencias correctas y corregir la configuración para que un programa se ejecute, todo mediante comandos de la terminal.
- Puntuación
- Cada tarea se califica como aprobada o fallida según si el agente alcanzó el estado final requerido, y la puntuación del benchmark es el porcentaje de tareas resueltas sobre el total.
- Verificación
- Un resultado solo se acepta si comprobaciones automáticas dentro de un entorno aislado (sandbox) confirman que se logró el objetivo previsto de la tarea, no por votos humanos ni por coincidencia exacta de texto.
- Por qué importa
- Las habilidades de terminal —instalar, depurar y operar sistemas desde la línea de comandos— son centrales en el trabajo real de ingeniería, así que este benchmark muestra si un agente puede actuar de forma autónoma y fiable en una línea de comandos real. Su versión 2.x, más difícil, mantiene el listón alto a medida que los agentes mejoran.
Ejemplo resuelto
Tarea
En un contenedor Docker de Terminal-Bench, el archivo /app/access.log contiene registros de acceso de Apache. Escribe un único comando que cuente el número de direcciones IP de cliente distintas (el primer campo separado por espacios de cada línea) y guarde solo ese número en /app/answer.txt.
Solución
awk '{print $1}' /app/access.log | sort -u | wc -l > /app/answer.txtExplicación
awk imprime el primer campo (la IP del cliente) de cada línea del log, sort -u elimina duplicados y wc -l cuenta las IP únicas restantes, redirigiendo el resultado a /app/answer.txt. Terminal-Bench lo califica ejecutando en el contenedor un test de pytest que lee /app/answer.txt y comprueba que es igual al número conocido de IP únicas.