Benchmark · reasoning
ZebraLogic
ZebraLogic एक तर्क (reasoning) बेंचमार्क है, जो प्रोग्राम से जनित लॉजिक-ग्रिड पहेलियों ("आइंस्टाइन"/"ज़ेबरा" पहेलियाँ) से बना है और LLM की बाधा-संतुष्टि (constraint satisfaction) व निगमनात्मक तर्क क्षमता को परखता है; मुख्य मीट्रिक पहेली-स्तरीय सटीकता है, यानी पूरी तरह सही हल की गई पहेलियों का अनुपात (सेल-स्तरीय सटीकता एक अधिक सूक्ष्म द्वितीयक मीट्रिक है)।
और पढ़ें
- उदाहरण
- एक सामान्य आइटम में एक पंक्ति में N घर और कई विशेषता श्रेणियाँ (जैसे पालतू, पेय, रंग) दी जाती हैं, हर श्रेणी में N अलग-अलग मान होते हैं, साथ ही प्राकृतिक भाषा में संकेतों की सूची; मॉडल को हर मान का हर घर में वह एकमात्र आवंटन निकालना होता है जो सभी संकेतों को संतुष्ट करता है।
- स्कोरिंग
- दो मीट्रिक। पहेली-स्तरीय (सटीक-मिलान) सटीकता = उन पहेलियों का अंश जिनकी पूरी ग्रिड मॉडल सही भरता है; सेल-स्तरीय सटीकता = सही आवंटित किए गए अलग-अलग "घर–विशेषता" सेलों का अंश। पहेलियों को ग्रिड आकार / खोज-स्थान (search space) के आकार के अनुसार समूहित किया जाता है ताकि दिखे कि सटीकता जटिलता के साथ कैसे बदलती है।
- सत्यापन
- हर पहेली एक बाधा-समाधानकर्ता (constraint solver) से जनित होती है, इसलिए उसका ठीक एक ही वैध हल होता है; मॉडल के संरचित आउटपुट (पूरी ग्रिड) की तुलना संदर्भ-उत्तर से सेल-दर-सेल की जाती है। पहेली तभी हल मानी जाती है जब सभी सेल मिलें — पहेली-स्तर पर आंशिक अंक नहीं मिलते।
- यह क्यों मायने रखता है
- लॉजिक-ग्रिड पहेलियों में बहु-चरणीय, व्यवस्थित निगमन चाहिए जो रटने और पैटर्न-मिलान से नहीं सधता, और ये प्रक्रियात्मक रूप से जनित होती हैं, इसलिए इनका प्रशिक्षण-डेटा में रिसना कठिन है। ZebraLogic "जटिलता के अभिशाप" को उजागर करता है — खोज-स्थान बढ़ने पर सटीकता तेज़ी से गिरती है — जिससे यह वास्तविक तर्क का और यह जाँचने का साफ़ परीक्षण बनता है कि अनुमान-समय का तर्क (चेन-ऑफ़-थॉट / अधिक गणना) असल में कितना मदद करता है।
हल किया गया उदाहरण
कार्य
एक पंक्ति में 3 घर हैं, जिन पर 1 (बाएँ) से 3 (दाएँ) तक क्रमांक हैं। हर घर में अलग पालतू (बिल्ली, कुत्ता, पक्षी) और अलग पेय (चाय, पानी, दूध) है।
संकेत:
1. घर 1 में बिल्ली है।
2. बिल्ली का मालिक चाय पीता है।
3. कुत्ते का मालिक पक्षी के मालिक के ठीक बाईं ओर रहता है।
4. पक्षी का मालिक दूध पीता है।
5. घर 2 में पानी पीया जाता है।
हर घर का पालतू और पेय निर्धारित करें।
समाधान
- संकेत 1: घर 1 = बिल्ली। संकेत 3: कुत्ता पक्षी के ठीक बाईं ओर है, तो जोड़ी (कुत्ता, पक्षी) घर (2, 3) पर है — घर 1 पहले से बिल्ली है। → घर 2 = कुत्ता, घर 3 = पक्षी।
- संकेत 2: बिल्ली का मालिक (घर 1) चाय पीता है। संकेत 4: पक्षी का मालिक (घर 3) दूध पीता है। संकेत 5: घर 2 पानी पीता है।
- अंतिम: घर 1 = बिल्ली, चाय; घर 2 = कुत्ता, पानी; घर 3 = पक्षी, दूध।
व्याख्या
संकेत एक-दूसरे से जुड़कर एकमात्र बाध्य आवंटन तक ले जाते हैं, इसलिए हल अद्वितीय है — ठीक वही गुण जो जनरेटर सुनिश्चित करता है। मूल्यांकन पूरी ग्रिड के, समाधानकर्ता के संदर्भ-उत्तर से सटीक-मिलान द्वारा होता है: यहाँ छहों "घर–विशेषता" सेल सही हैं, इसलिए पहेली हल मानी जाती है।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।