Subset GGUF MTP-only untuk Qwen3.5/3.6 dirilis untuk grafting dan akselerasi

Seorang pengguna telah menerbitkan subset GGUF MTP-only untuk model Middle/Large Qwen3.5 dan Qwen3.6 (27B parameter dan di atasnya) untuk memfasilitasi eksperimen dengan fine-tune berbasis Qwen.

• File-file ini mempercepat generasi token untuk model berbasis Qwen yang tidak memiliki tensor MTP dengan menyediakan bobot draft yang diperlukan.
• File-file ini menunjukkan cara menyematkan tensor MTP Qwen3.5/3.6 ke dalam file GGUF yang ada, mengatasi masalah yang ditemukan dalam kuantisasi lain seperti Ornith-1.0-35B.
• Subset ini mendukung dua penggunaan: berfungsi sebagai file model draft terpisah untuk llama.cpp atau sebagai aset grafting untuk mentransplantasikan tensor terkait MTP.

Sumber daya ini bertujuan untuk memudahkan pengujian dan eksperimen dengan fine-tune berbasis Qwen3.5/3.6 dengan menyediakan file model yang mudah diakses dan diuji.