Benchmark · reasoning
ZebraLogic
ZebraLogic é um benchmark de raciocínio formado por quebra-cabeças de grade lógica ("de Einstein"/"zebra") gerados programaticamente, que avalia a capacidade de um LLM de satisfação de restrições e dedução; a métrica principal é a acurácia em nível de quebra-cabeça, ou seja, a proporção de quebra-cabeças resolvidos inteiramente de forma correta (a acurácia em nível de célula é uma métrica secundária mais detalhada).
Saiba mais
- Exemplo
- Um item típico apresenta N casas em fila e várias categorias de atributos (por exemplo, animal de estimação, bebida, cor), cada uma com N valores distintos, além de uma lista de pistas em linguagem natural; o modelo deve deduzir a única atribuição de cada valor a cada casa que satisfaz todas as pistas.
- Pontuação
- Duas métricas. Acurácia em nível de quebra-cabeça (correspondência exata) = fração de quebra-cabeças cuja grade inteira o modelo preenche corretamente; acurácia em nível de célula = fração de células individuais casa–atributo atribuídas corretamente. Os quebra-cabeças são agrupados por tamanho da grade / tamanho do espaço de busca para mostrar como a acurácia escala com a complexidade.
- Verificação
- Cada quebra-cabeça é gerado com um solucionador de restrições, de modo que tem exatamente uma solução válida; a saída estruturada do modelo (a grade completa) é comparada célula a célula com a referência. Um quebra-cabeça conta como resolvido apenas se todas as células coincidirem — não há crédito parcial em nível de quebra-cabeça.
- Por que importa
- Quebra-cabeças de grade lógica exigem dedução sistemática de várias etapas que resiste à memorização e ao casamento de padrões, e são gerados proceduralmente, então é difícil que vazem para os dados de treino. ZebraLogic revela a "maldição da complexidade" — a acurácia cai bruscamente conforme o espaço de busca cresce —, tornando-o uma sonda limpa do raciocínio genuíno e de quanto o raciocínio em tempo de inferência (cadeia de pensamento / mais computação) de fato ajuda.
Exemplo resolvido
Tarefa
Há 3 casas em fila, numeradas de 1 (esquerda) a 3 (direita). Cada casa tem um animal de estimação diferente (Gato, Cachorro, Pássaro) e uma bebida diferente (Chá, Água, Leite).
Pistas:
1. A casa 1 tem o Gato.
2. O dono do Gato bebe Chá.
3. O dono do Cachorro mora imediatamente à esquerda do dono do Pássaro.
4. O dono do Pássaro bebe Leite.
5. Na casa 2 bebe-se Água.
Determine o animal e a bebida de cada casa.
Solução
- Pista 1: casa 1 = Gato. Pista 3: o Cachorro está imediatamente à esquerda do Pássaro, então o par (Cachorro, Pássaro) ocupa as casas (2, 3) — a casa 1 já é Gato. → casa 2 = Cachorro, casa 3 = Pássaro.
- Pista 2: o dono do Gato (casa 1) bebe Chá. Pista 4: o dono do Pássaro (casa 3) bebe Leite. Pista 5: a casa 2 bebe Água.
- Resultado: Casa 1 = Gato, Chá; Casa 2 = Cachorro, Água; Casa 3 = Pássaro, Leite.
Explicação
As pistas se encadeiam para uma única atribuição forçada, então a solução é única — exatamente a propriedade que o gerador garante. É avaliado por correspondência exata da grade inteira com a referência do solucionador: aqui todas as seis células casa–atributo estão corretas, então o quebra-cabeça conta como resolvido.
Ainda não há pontuações verificadas para este benchmark.