Специальный рецепт квантования, применённый к модели HuiHui с удалёнными ограничениями, демонстрирует превосходные результаты по сравнению с базовой версией 3.6-35B-a3b в задачах математики и программирования. Результаты указывают на то, что удаление механизмов отказа позволяет модели достигать большей точности и мудрости в этих областях.
- Для моделей HuiHui и Vanilla 3.6-35B-a3b использовалось идентичное кастомное квантование.
- Бенчмарки проводились с использованием набора oMLX в режиме инструкций без длинных цепочек рассуждений.
- Модель с удалёнными ограничениями показала улучшенные результаты на бенчмарках по математике и коду, несмотря на малый размер выборки.
Полученные данные указывают на то, что удаление ограничений может улучшить возможности модели в определённых технических областях; модель HuiHui доступна для загрузки по ссылке Hugging Face.