Los investigadores han lanzado Terminal-Bench 2.0, un benchmark diseñado para evaluar agentes de IA en tareas de interfaz de línea de comandos difíciles y realistas que las métricas actuales no logran capturar de manera significativa.
El benchmark consta de 89 tareas cuidadosamente seleccionadas dentro de entornos de terminal informática, cada una con configuraciones únicas, soluciones escritas por humanos y pruebas de verificación exhaustivas. Los resultados de la evaluación muestran que los modelos y agentes de vanguardia obtienen menos del 65% en estas tareas. Los autores realizaron un análisis de errores para identificar áreas específicas de mejora en las capacidades de los modelos y agentes.
El conjunto de datos y el marco de evaluación se han publicado para ayudar a desarrolladores e investigadores a avanzar en la finalización autónoma de tareas en entornos de terminal.