يطور مستخدم على منتديات Hugging Face معالج logits مخصص يفرض توليد نص الإدخال حرفيًا جنبًا إلى جنب مع وسوم التصنيف المضمنة. بينما يعمل هذا النهج مع النماذج التي لا تحتوي على استدلال سلسلة التفكير، يهدف المستخدم الآن إلى تنفيذ عملية توليد ذات مرحلتين حيث يتأمل النموذج بحرية قبل إنتاج الإخراج المُصنّف.
- كان المستخدم قد نفذ المعالج سابقًا للنماذج ذات الإخراج المباشر لكنه يحتاج إلى التعامل مع مرحلتي تفكير واستجابة منفصلتين.
- تضمنت الأفكار الأولية اكتشاف رمز نهاية التفكير، لكن المستخدم يلاحظ أن واجهات برمجة التطبيقات مثل Ollama و vLLM تقوم بالفعل بهيكلة هذه البيانات داخليًا.
- هناك حاجة إلى الوصول إلى logits أثناء التوليد، وهي ميزة لا تدعمها Ollama وأُضيفت مؤخرًا إلى vLLM للتوافق مع Hugging Face.
- يتمثل السؤال الجوهري في ما إذا كان هناك طريقة لتقسيم هاتين المرحلتين باستخدام مكتبة HF فقط دون الاعتماد على هياكل واجهة برمجة التطبيقات الخارجية.