Un utilisateur sur les forums Hugging Face développe un processeur de logits personnalisé qui impose la génération littérale du texte d'entrée ainsi que des balises de classification en ligne. Bien que cette approche fonctionne pour les modèles sans raisonnement en chaîne de pensée, l'utilisateur vise désormais à implémenter un processus de génération en deux phases où le modèle réfléchit librement avant de produire la sortie classifiée.
- L'utilisateur a précédemment implémenté le processeur pour les modèles à sortie directe mais doit gérer des phases de réflexion et de réponse séparées.
- Les idées initiales impliquaient la détection d'un token de fin de réflexion, mais l'utilisateur note que des API comme Ollama et vLLM structurent déjà ces données en interne.
- L'accès aux logits pendant la génération est requis, une fonctionnalité non prise en charge par Ollama et ajoutée récemment à vLLM pour la compatibilité avec Hugging Face.
- La question centrale est de savoir s'il existe un moyen de diviser ces deux phases en utilisant uniquement la bibliothèque Hugging Face sans dépendre des structures d'API externes.