Hugging Face फोरम पर एक उपयोगकर्ता एक कस्टम logits processor विकसित कर रहा है जो इनपुट टेक्स्ट की शब्दशः जनरेशन को इन्लाइन क्लासिफिकेशन टैग्स के साथ लागू करता है। हालांकि यह दृष्टिकोण चेन-ऑफ़-थॉट रीजनिंग (chain-of-thought reasoning) वाले मॉडल के बिना काम करता है, लेकिन उपयोगकर्ता अब एक दो-चरणीय जनरेशन प्रक्रिया लागू करने का लक्ष्य रखता है जहां मॉडल वर्गीकृत आउटपुट उत्पन्न करने से पहले स्वतंत्र रूप से तर्क करे।
- उपयोगकर्ता ने पहले सीधे-आउटपुट मॉडल के लिए प्रोसेसर लागू किया था लेकिन अब अलग-अलग सोच और प्रतिक्रिया चरणों को संभालने की आवश्यकता है।
- प्रारंभिक विचारों में सोच समाप्ति टोकन का पता लगाना शामिल था, लेकिन उपयोगकर्ता बताते हैं कि Ollama और vLLM जैसे एपीआई पहले से ही इन डेटा को आंतरिक रूप से संरचित करते हैं।
- जनरेशन के दौरान लॉगिट्स तक पहुंच की आवश्यकता है, जो Ollama द्वारा समर्थित नहीं है और Hugging Face संगतता के लिए हाल ही में vLLM में जोड़ा गया था।
- मुख्य प्रश्न यह है कि क्या इन दो चरणों को बाहरी एपीआई संरचनाओं पर निर्भर किए बिना केवल Hugging Face लाइब्रेरी का उपयोग करके विभाजित करने का कोई तरीका है।