В статье представлена Quantization-Aware Healing — метод создания сжатой 4-битной модели, которая демонстрирует производительность выше, чем у её оригинала полной точности.
Этот подход показывает, что определённые техники квантования могут улучшить возможности модели за пределы базовой неквантованной версии.
Meta выпустила MobileMoE, коллекцию моделей смешанных экспертов (MoE) для мобильных устройств, разработанных для оптимизации компромисса между качеством и эффективностью на мобильных устройствах. Семейство включает три масштаба моделей с субмиллиардным количеством активных параметров и размером весов менее 3 ГБ в формате INT4.
Авторы представляют Quantization-Aware Healing (QAH), конвейер, который дистиллирует студентов 4-битных моделей непосредственно из несжатых моделей для восстановления производительности, потерянной во время структурного сжатия и квантования. Примененный к GPT-OSS 120B, этот метод производит Hypernova-60B, который соответствует или превосходит источник bfloat16 на 7 из 9 бенчмарков, используя примерно в 4 раза меньше памяти весов.
Авторы представляют Quantization-Aware Healing (QAH), метод восстановления способностей к рассуждению и написанию кода в структурно сжатых больших языковых моделях на 4 бита. В отличие от стандартного обучения с учётом квантования, которое переобучает сжатую модель, QAH дистиллирует студента 4-битной модели напрямую из исходной несжатой модели.
Joakimpalm-Zen обновил Xyntetik Runner для обучения адаптеров LoRA непосредственно с использованием тех же квантованных весов GGUF, которые он обслуживает для вывода, устраняя необходимость в отдельной копии FP16 для обучения или времени выполнения.
Liquid AI выпустила контрольные точки черновой модели DSpark для трех моделей из семейства LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Эти генераторы предложений добавляют путь спекулятивного декодирования к существующим целевым моделям, позволяя черновой модели с примерно 300 млн параметров предложить блок из девяти кандидатов на токены, которые целевая модель проверяет за один прямой проход.
Мы используем cookie для аналитики и улучшения сайта. Вы можете принять или отклонить аналитические cookie. Политика конфиденциальности