Um usuário nos fóruns do Hugging Face está desenvolvendo um logits processor personalizado que aplica a geração literal do texto de entrada junto com tags de classificação em linha. Embora essa abordagem funcione para modelos sem raciocínio de cadeia de pensamento (chain-of-thought reasoning), o usuário agora busca implementar um processo de geração em duas fases onde o modelo raciocina livremente antes de produzir a saída classificada.
- O usuário implementou anteriormente o processador para modelos de saída direta, mas precisa lidar com as fases separadas de pensamento e resposta.
- As ideias iniciais envolviam detectar um token de fim de pensamento, mas o usuário observa que APIs como Ollama e vLLM já estruturam esses dados internamente.
- É necessário acesso aos logits durante a geração, um recurso não suportado pelo Ollama e adicionado recentemente ao vLLM para compatibilidade com o Hugging Face.
- A pergunta central é se existe alguma maneira de dividir essas duas fases usando apenas a biblioteca do Hugging Face, sem depender de estruturas de API externas.