Hugging Face 论坛的一位用户正在开发一个自定义的 logits processor，用于在生成输入文本的同时内联添加分类标签。虽然这种方法适用于没有思维链推理（chain-of-thought reasoning）的模型，但用户现在旨在实现一个两阶段的生成过程，让模型在产生分类输出之前自由思考。

  • 用户之前为直接输出模型实现了该处理器，但现在需要处理独立的思考和响应阶段。
  • 初步想法涉及检测思维结束标记，但用户指出 Ollama 和 vLLM 等 API 已经在内部结构化这些数据。
  • 需要在生成期间访问 logits，这是 Ollama 不支持的功能，且最近才为与 Hugging Face 兼容而添加到 vLLM 中。
  • 核心问题是：是否有一种方法可以仅使用 Hugging Face 库来划分这两个阶段，而不依赖外部 API 结构。