Пользователь на форумах Hugging Face разрабатывает собственный logits processor, который обеспечивает дословную генерацию входного текста вместе с встроенными тегами классификации. Хотя этот подход работает для моделей без рассуждений цепочки мыслей (chain-of-thought reasoning), пользователь теперь стремится реализовать двухэтапный процесс генерации, при котором модель свободно размышляет перед выдачей классифицированного вывода.

  • Пользователь ранее реализовал этот процессор для моделей с прямым выводом, но ему необходимо обрабатывать отдельные фазы размышления и ответа.
  • Первоначальные идеи включали обнаружение токена конца размышления, но пользователь отмечает, что такие API, как Ollama и vLLM, уже структурируют эти данные внутренне.
  • Требуется доступ к логитам во время генерации — функция, не поддерживаемая Ollama и недавно добавленная в vLLM для совместимости с Hugging Face.
  • Основной вопрос заключается в том, существует ли способ разделить эти две фазы, используя только библиотеку Hugging Face, без опоры на структуры внешних API.