Benchmark · reasoning
ZebraLogic
ZebraLogic 是一个推理基准，由程序化生成的逻辑网格谜题（“爱因斯坦”/“斑马”谜题）组成，考查 LLM 的约束满足与演绎推理能力；核心指标是谜题级准确率，即完全正确求解的谜题所占比例（单元格级准确率为更细粒度的次要指标）。
了解更多
- 示例
- 一道典型题目给出排成一行的 N 座房子和若干属性类别（例如宠物、饮品、颜色），每个类别有 N 个不同取值，另附一组自然语言线索；模型须推断出满足所有线索的、把每个取值分配到每座房子的唯一方案。
- 评分方式
- 两个指标。谜题级（完全匹配）准确率＝模型把整张网格填写正确的谜题所占比例；单元格级准确率＝正确分配的“房子—属性”单元格所占比例。谜题按网格规模／搜索空间大小分组，以揭示准确率如何随复杂度变化。
- 验证方式
- 每道谜题都用约束求解器生成，因此恰有一个有效解；将模型的结构化输出（整张网格）与标准答案逐格比对。只有全部单元格都匹配，谜题才算解出——谜题级别没有部分得分。
- 为何重要
- 逻辑网格谜题需要多步、系统化的演绎，难以靠记忆和模式匹配蒙对，且为程序化生成，因而不易泄漏进训练数据。ZebraLogic 揭示了“复杂度诅咒”——准确率随搜索空间增大而急剧下降——使其成为对真正推理能力、以及推理时推理（思维链／更多算力）到底有多大帮助的干净探针。
示例解析
任务
一排有 3 座房子，从 1（左）到 3（右）编号。每座房子有不同的宠物（猫、狗、鸟）和不同的饮品（茶、水、牛奶）。
线索：
1. 房子 1 养猫。
2. 养猫的人喝茶。
3. 养狗的人紧挨在养鸟的人左边。
4. 养鸟的人喝牛奶。
5. 房子 2 喝水。
请确定每座房子的宠物和饮品。
解答
- 线索 1：房子 1 = 猫。线索 3：狗紧挨在鸟左边，所以（狗、鸟）占据房子（2、3）——房子 1 已是猫。→ 房子 2 = 狗，房子 3 = 鸟。
- 线索 2：养猫者（房子 1）喝茶。线索 4：养鸟者（房子 3）喝牛奶。线索 5：房子 2 喝水。
- 最终：房子 1 = 猫、茶；房子 2 = 狗、水；房子 3 = 鸟、牛奶。
解析
各线索层层相扣，导向唯一被迫的分配，因此解唯一——这正是生成器所保证的性质。评分方式是将整张网格与求解器标准答案完全匹配：此处六个“房子—属性”单元格全部正确，故谜题计为已解出。
该 benchmark 暂无已验证的得分。