ベンチマーク · reasoning
ZebraLogic
ZebraLogic は、プログラムで自動生成される論理グリッドパズル（「アインシュタイン」／「ゼブラ」パズル）から成る推論ベンチマークで、LLM の制約充足と演繹推論の能力を測る。主要指標はパズル単位の正解率、すなわち完全に正しく解けたパズルの割合（セル単位の正解率はより細かい補助指標）。
詳しく見る
- 例
- 典型的な問題では、一列に並んだ N 軒の家と複数の属性カテゴリ（例：ペット、飲み物、色）が与えられ、各カテゴリに N 個の異なる値があり、加えて自然言語のヒント一覧が付く。モデルは、すべてのヒントを満たす唯一の割り当て（各値を各家へ）を導き出さなければならない。
- 採点方法
- 指標は2つ。パズル単位（完全一致）正解率＝モデルがグリッド全体を正しく埋めたパズルの割合。セル単位正解率＝正しく割り当てられた個々の「家―属性」セルの割合。パズルはグリッドサイズ／探索空間の大きさで分類され、正解率が複雑さとともにどう変化するかを示す。
- 検証方法
- 各パズルは制約ソルバーで生成されるため、妥当な解がちょうど1つだけ存在する。モデルの構造化出力（グリッド全体）を正解とセルごとに突き合わせる。すべてのセルが一致した場合にのみパズルは正解と数え、パズル単位では部分点はない。
- 重要な理由
- 論理グリッドパズルは、暗記やパターン照合では通用しない多段階かつ体系的な演繹を要し、手続き的に生成されるため学習データへ漏れにくい。ZebraLogic は「複雑さの呪い」を露わにする——探索空間が大きくなるほど正解率が急落する——ため、真の推論力と、推論時の思考（思考連鎖／より多くの計算）が実際にどれだけ役立つかを測る明快なプローブとなる。
解説付きの例
課題
一列に3軒の家があり、左端の1から右端の3まで番号が付く。各家は異なるペット（ネコ、イヌ、トリ）と異なる飲み物（お茶、水、牛乳）を持つ。
ヒント：
1. 家1はネコを飼っている。
2. ネコの飼い主はお茶を飲む。
3. イヌの飼い主はトリの飼い主のすぐ左に住む。
4. トリの飼い主は牛乳を飲む。
5. 家2では水を飲む。
各家のペットと飲み物を特定せよ。
解答
- ヒント1：家1＝ネコ。ヒント3：イヌはトリのすぐ左なので、（イヌ, トリ）が家（2, 3）を占める——家1はすでにネコ。→ 家2＝イヌ、家3＝トリ。
- ヒント2：ネコの飼い主（家1）はお茶。ヒント4：トリの飼い主（家3）は牛乳。ヒント5：家2は水。
- 最終：家1＝ネコ、お茶；家2＝イヌ、水；家3＝トリ、牛乳。
解説
ヒントが連鎖して唯一の必然的な割り当てに至るため、解は一意——まさに生成器が保証する性質である。採点はグリッド全体をソルバーの正解と完全一致で照合する：ここでは6つの「家―属性」セルすべてが正しいので、パズルは正解と数えられる。
このベンチマークの検証済みスコアはまだありません。