लेख इस बात की जांच करता है कि क्या एक बंद-स्रोत बड़े भाषा मॉडल के लिए एक समकक्ष टोकनाइज़र को केवल इसके चैट API से व्युत्पन्न दो ऑरेकल्स का उपयोग करके पुनर्निर्मित किया जा सकता है। ये ऑरेकल्स हैं टोकन लंबाई ऑरेकल, जो एक स्ट्रिंग में टोकनों की संख्या देता है, और प्रीफ़िक्स टोकन ऑरेकल, जो विलय क्रम की अस्पष्टताओं को हल करने के लिए पहले n टोकनों को डिकोड करता है।
- टोकन लंबाई ऑरेकल: किसी भी स्ट्रिंग s के लिए, यह len(tokenize(s)) देता है।
- प्रीफ़िक्स टोकन ऑरेकल: एक स्ट्रिंग s और पूर्णांक n के लिए, यह tokenize(s) के पहले n टोकनों से डिकोड की गई स्ट्रिंग देता है।
- प्रीफ़िक्स टोकन ऑरेकल को नियमित चैट इंटरफ़ेस के माध्यम से मॉडल द्वारा पाठ को नियंत्रित तरीके से दोहराने की क्षमता का लाभ उठाकर बनाया जाता है।
मुख्य प्रश्न यह है कि क्या ये दो ऑरेकल्स किसी भी इनपुट पर समान टोकन सीमाएँ उत्पन्न करने वाले एक समकक्ष टोकनाइज़र को पुनर्निर्मित करने के लिए पर्याप्त हैं, टोकन ID रीमैपिंग तक।