Пользователь опубликовал подмножества GGUF только с MTP для моделей Qwen3.5 и Qwen3.6 Middle/Large (27B параметров и выше), чтобы облегчить эксперименты с дообучением на основе Qwen.

  • Файлы ускоряют генерацию токенов для моделей на базе Qwen, не имеющих тензоров MTP, предоставляя необходимые веса черновика.
  • Они демонстрируют, как можно встроить тензоры MTP Qwen3.5/3.6 в существующие файлы GGUF, решая проблемы, обнаруженные в других квантованиях, таких как Ornith-1.0-35B.
  • Подмножества поддерживают два варианта использования: служить отдельными файлами моделей черновика для llama.cpp или быть активами для прививки при трансплантации тензоров, связанных с MTP.

Эти ресурсы призваны упростить тестирование и эксперименты с дообучением на основе Qwen3.5/3.6, предоставляя доступные и легко тестируемые файлы моделей.