Benchmark · agentic

RE-Bench

0 resultados 0 modelos

RE-Bench (el Research Engineering Benchmark de METR) mide qué tan bien los agentes de IA resuelven tareas abiertas de I+D de IA / ingeniería de ML en comparación con expertos humanos. Cada intento recibe una puntuación continua específica de la tarea, normalizada de modo que 0 equivale a la solución inicial dada y 1 a una sólida solución humana de referencia.

Ejemplo: Escribir un kernel de GPU optimizado: dada una implementación de referencia de un cálculo concreto (p. ej., un prefix-sum), producir un kernel propio funcionalmente equivalente que se ejecute lo más rápido posible. Otros entornos incluyen recuperar un modelo cuyos pesos de embedding fueron permutados, o acelerar un script de fine-tuning.
Puntuación: Cada uno de los 7 entornos incluye una función de puntuación automática que devuelve una puntuación continua (p. ej., tiempo de ejecución, loss o exactitud). Las puntuaciones brutas se normalizan por entorno de modo que 0 = la solución inicial dada y 1 = una sólida solución de referencia (las puntuaciones pueden superar 1). Los agentes pueden ejecutar el evaluador durante una ejecución; cuenta la puntuación más alta alcanzada dentro del presupuesto fijo de tiempo/cómputo, y el rendimiento agregado se compara con las puntuaciones de expertos humanos bajo presupuestos totales de tiempo equivalentes.
Verificación: Una solución cuenta solo si se ejecuta en el sandbox de la tarea y es calificada por la función de puntuación determinista, registrándose la mejor puntuación válida dentro del presupuesto. Las líneas base humanas provienen de investigadores e ingenieros de ML experimentados que abordan los mismos entornos (el conjunto publicado son 71 intentos de ocho horas de 61 expertos), lo que permite una comparación equiparable; los resultados se agregan a lo largo de intentos y semillas.
Por qué importa: Apunta a la capacidad que las políticas de seguridad de la IA de frontera más señalan —la IA automatizando la I+D de IA— usando problemas de ingeniería realistas y abiertos con métricas objetivas y una comparación directa con expertos humanos. Eso lo convierte en un indicador para pronosticar y evaluar niveles peligrosos de capacidad autónoma de I+D, en lugar de las habilidades de ML clásico que miden otros benchmarks.

Ejemplo resuelto

Tarea

«Optimize LLM Foundry finetuning script»: se te da un script funcional que hace fine-tuning de un modelo de lenguaje en una GPU fija. Reduce su tiempo de ejecución real (wall-clock) tanto como sea posible sin cambiar su comportamiento de entrenamiento: el loss final debe seguir coincidiendo con la referencia dentro de la tolerancia. Puedes modificar cualquier cosa y puedes ejecutar la función de puntuación para medir tu tiempo.

Solución

Perfila el script para encontrar los cuellos de botella y luego aplica optimizaciones de tiempo de ejecución que no cambien el resultado: precisión reducida/mixta (bf16) donde sea seguro, kernels fusionados u optimizados (FlashAttention, un optimizer fusionado), torch.compile, una canalización de carga de datos más rápida, y eliminar cálculos redundantes y sincronizaciones CUDA innecesarias. Respuesta final: el script más rápido cuya salida siga coincidiendo con la referencia dentro de la tolerancia; no hay una solución única, y la puntuación es la reducción de tiempo de ejecución lograda bajo esa restricción.

Explicación

Es correcto porque el entorno califica según el tiempo de ejecución real medido sujeto a la restricción de comportamiento/loss, de modo que cualquier cambio que reduzca el tiempo de ejecución manteniendo la salida dentro de la tolerancia aumenta la puntuación normalizada (0 = script inicial, 1 = referencia sólida). La calificación es automática: el evaluador vuelve a ejecutar el script enviado y registra su tiempo de ejecución.

Aún no hay puntuaciones verificadas para este benchmark.