Разработчик, использующий Qwen3.6-35B-A3B и плотную модель Qwen3.6-27B, утверждает, что многоязычные веса тратят VRAM у пользователей, которые работают исключительно с английским техническим текстом и кодом.
- Автор отмечает, что плотным моделям требуется загрузка полных весовых файлов размером 16–20 ГБ, что исключает пользователей с ограниченным оборудованием, таким как видеокарты на 8 ГБ или 12 ГБ.
- Он предлагает два возможных решения: обучение новых моделей с нуля без использования многоязычных данных или постобработка существующих моделей путем прунинга для удаления неанглийской емкости.
- Автор ссылается на исследование моделей рассуждения, таких как DeepSeek-R1 и OpenAI o1, отмечая их низкую точность выполнения на сложных задачах по сравнению с более простыми бенчмарками.
Основная проблема заключается в том, является ли технически возможным удаление многоязычных весов для освобождения VRAM и улучшения производительности при кодировании на потребительском оборудовании.