Hugging Face 포럼의 한 사용자가 입력 텍스트의 문자 그대로 생성과 인라인 분류 태그를 강제하는 사용자 지정 로짓 프로세서를 개발하고 있습니다. 이 접근 방식은 사색 추론을 사용하지 않는 모델에서는 작동하지만, 사용자는 이제 분류된 출력을 생성하기 전에 자유롭게 추론하는 두 단계 생성 프로세스를 구현하고자 합니다.
- 사용자는 이전에 직접 출력 모델용 프로세서를 구현했지만 분리된 사고 단계와 응답 단계를 처리해야 합니다.
- 초기 아이디어에는 사고 종료 토큰 감지가 포함되었지만, 사용자는 Ollama 및 vLLM과 같은 API가 이미 이 데이터를 내부적으로 구조화하고 있다고 지적합니다.
- 생성 중 로짓에 대한 접근이 필요하며, 이는 Ollama에서 지원되지 않으며 Hugging Face 호환성을 위해 vLLM에 최근에 추가된 기능입니다.
- 핵심 질문은 외부 API 구조에 의존하지 않고 HF 라이브러리만 사용하여 이 두 단계를 분리할 수 있는 방법이 있는지 여부입니다.