Un utilisateur a publié des sous-ensembles GGUF MTP-only pour les modèles Middle/Large de Qwen3.5 et Qwen3.6 (27B paramètres et plus) afin de faciliter l'expérimentation avec des fine-tunes basés sur Qwen.
- Les fichiers accélèrent la génération de tokens pour les modèles basés sur Qwen qui manquent de tenseurs MTP en fournissant les poids de draft nécessaires.
- Ils démontrent comment intégrer les tenseurs MTP de Qwen3.5/3.6 dans des fichiers GGUF existants, résolvant ainsi les problèmes rencontrés avec d'autres quantifications comme Ornith-1.0-35B.
- Les sous-ensembles prennent en charge deux utilisations : servir de fichiers de modèle de draft séparés pour llama.cpp ou d'actifs de greffage pour transplanter les tenseurs liés à MTP.
Ces ressources visent à faciliter les tests et l'expérimentation avec des fine-tunes basés sur Qwen3.5/3.6 en fournissant des fichiers de modèles accessibles et faciles à tester.