Benchmark · reasoning

ZebraLogic

0 resultados 0 modelos

ZebraLogic es un benchmark de razonamiento formado por acertijos de cuadrícula lógica («de Einstein»/«cebra») generados programáticamente, que evalúa la capacidad de un LLM para la satisfacción de restricciones y la deducción; la métrica principal es la precisión a nivel de acertijo, es decir, la proporción de acertijos resueltos por completo correctamente (la precisión a nivel de celda es una métrica secundaria más detallada).

Ejemplo: Un ítem típico presenta N casas en fila y varias categorías de atributos (por ejemplo, mascota, bebida, color), cada una con N valores distintos, más una lista de pistas en lenguaje natural; el modelo debe deducir la única asignación de cada valor a cada casa que satisface todas las pistas.
Puntuación: Dos métricas. Precisión a nivel de acertijo (coincidencia exacta) = fracción de acertijos cuya cuadrícula completa el modelo llena correctamente; precisión a nivel de celda = fracción de celdas individuales casa–atributo asignadas correctamente. Los acertijos se agrupan por tamaño de cuadrícula / tamaño del espacio de búsqueda para mostrar cómo escala la precisión con la complejidad.
Verificación: Cada acertijo se genera con un solucionador de restricciones, de modo que tiene exactamente una solución válida; la salida estructurada del modelo (la cuadrícula completa) se compara celda por celda con la verdad de referencia. Un acertijo cuenta como resuelto solo si todas las celdas coinciden: no hay crédito parcial a nivel de acertijo.
Por qué importa: Los acertijos de cuadrícula lógica exigen una deducción sistemática de varios pasos que resiste la memorización y el emparejamiento de patrones, y se generan de forma procedimental, por lo que es difícil que se filtren a los datos de entrenamiento. ZebraLogic revela la «maldición de la complejidad» —la precisión cae bruscamente al crecer el espacio de búsqueda—, lo que lo convierte en una sonda limpia del razonamiento genuino y de cuánto ayuda realmente el razonamiento en tiempo de inferencia (cadena de pensamiento / más cómputo).

Ejemplo resuelto

Tarea

Hay 3 casas en fila, numeradas de 1 (izquierda) a 3 (derecha). Cada casa tiene una mascota distinta (Gato, Perro, Pájaro) y una bebida distinta (Té, Agua, Leche). Pistas: 1. La casa 1 tiene al Gato. 2. El dueño del Gato bebe Té. 3. El dueño del Perro vive inmediatamente a la izquierda del dueño del Pájaro. 4. El dueño del Pájaro bebe Leche. 5. En la casa 2 se bebe Agua. Determina la mascota y la bebida de cada casa.

Solución

- Pista 1: casa 1 = Gato. Pista 3: el Perro está inmediatamente a la izquierda del Pájaro, así que el par (Perro, Pájaro) ocupa las casas (2, 3) —la casa 1 ya es Gato—. → casa 2 = Perro, casa 3 = Pájaro. - Pista 2: el dueño del Gato (casa 1) bebe Té. Pista 4: el dueño del Pájaro (casa 3) bebe Leche. Pista 5: la casa 2 bebe Agua. - Resultado: Casa 1 = Gato, Té; Casa 2 = Perro, Agua; Casa 3 = Pájaro, Leche.

Explicación

Las pistas se encadenan hacia una única asignación forzada, por lo que la solución es única, exactamente la propiedad que garantiza el generador. Se califica por coincidencia exacta de toda la cuadrícula con la verdad de referencia del solucionador: aquí las seis celdas casa–atributo son correctas, así que el acertijo cuenta como resuelto.

Aún no hay puntuaciones verificadas para este benchmark.