Un usuario en los foros de Hugging Face está desarrollando un procesador de logits personalizado que aplica la generación literal del texto de entrada junto con etiquetas de clasificación en línea. Si bien este enfoque funciona para modelos sin razonamiento de cadena de pensamiento (chain-of-thought reasoning), el usuario ahora busca implementar un proceso de generación en dos fases donde el modelo razone libremente antes de producir la salida clasificada.
- El usuario implementó previamente el procesador para modelos de salida directa, pero necesita manejar las fases separadas de pensamiento y respuesta.
- Las ideas iniciales involucraban detectar un token de fin de pensamiento, pero el usuario señala que APIs como Ollama y vLLM ya estructuran estos datos internamente.
- Se requiere acceso a los logits durante la generación, una función no soportada por Ollama y añadida recientemente a vLLM para compatibilidad con Hugging Face.
- La pregunta central es si existe alguna forma de dividir estas dos fases utilizando únicamente la biblioteca de Hugging Face sin depender de estructuras de API externas.