Seorang pengguna di forum Hugging Face sedang mengembangkan pemroses logits kustom yang memaksa generasi teks input secara verbatim bersama dengan tag klasifikasi inline. Meskipun pendekatan ini berfungsi untuk model tanpa penalaran rantai-pemikiran, pengguna kini bertujuan untuk mengimplementasikan proses generasi dua fase di mana model bernalar secara bebas sebelum menghasilkan output terklasifikasi.
- Pengguna sebelumnya telah mengimplementasikan pemroses untuk model keluaran langsung tetapi perlu menangani fase berpikir dan merespons yang terpisah.
- Ide awal melibatkan deteksi token akhir-pemikiran, tetapi pengguna mencatat bahwa API seperti Ollama dan vLLM sudah menyusun data ini secara internal.
- Akses ke logits selama generasi diperlukan, sebuah fitur yang tidak didukung oleh Ollama dan baru-baru ini ditambahkan ke vLLM untuk kompatibilitas dengan Hugging Face.
- Pertanyaan intinya adalah apakah ada cara untuk membagi dua fase ini hanya menggunakan pustaka HF tanpa bergantung pada struktur API eksternal.