media r/LocalLLaMA · 45 д назад · open_models

Bonsai 27B: первая модель класса 27B, работающая на телефоне

Переведено с English → Русский

В статье представлен Bonsai 27B, который описывается как первая модель своего класса, способная работать на мобильном телефоне.

Дополнительные детали или конкретные характеристики в исходном тексте не указаны.

Важность 1/3 r/LocalLLaMA Inference efficiency Open weights

Оригинал

Quantization-Aware Healing: сжатая 4-битная модель, превосходящая оригинал полной точности

В статье представлена Quantization-Aware Healing — метод создания сжатой 4-битной модели, которая демонстрирует производительность выше, чем у её оригинала полной точности.

media r/LocalLLaMA · 4 д назад · 5 просмотров

Facebook выпустила MobileMoE, семейство MoE-моделей для мобильных устройств

Meta выпустила MobileMoE, коллекцию моделей смешанных экспертов (MoE) для мобильных устройств, разработанных для оптимизации компромисса между качеством и эффективностью на мобильных устройствах. Семейство включает три масштаба моделей с субмиллиардным количеством активных параметров и размером весов менее 3 ГБ в формате INT4.

arxiv arXiv cs.LG · 5 д назад · 14 просмотров

Quantization-Aware Healing восстанавливает 4-битные LLM быстрее, чем QAT

Авторы представляют Quantization-Aware Healing (QAH), конвейер, который дистиллирует студентов 4-битных моделей непосредственно из несжатых моделей для восстановления производительности, потерянной во время структурного сжатия и квантования. Примененный к GPT-OSS 120B, этот метод производит Hypernova-60B, который соответствует или превосходит источник bfloat16 на 7 из 9 бенчмарков, используя примерно в 4 раза меньше памяти весов.

arxiv arXiv cs.CL · 5 д назад · 14 просмотров

Quantization-Aware Healing восстанавливает модели LLM на 4 бита быстрее, чем QAT

Авторы представляют Quantization-Aware Healing (QAH), метод восстановления способностей к рассуждению и написанию кода в структурно сжатых больших языковых моделях на 4 бита. В отличие от стандартного обучения с учётом квантования, которое переобучает сжатую модель, QAH дистиллирует студента 4-битной модели напрямую из исходной несжатой модели.

media Hugging Face Forums · 6 д назад · 6 просмотров

Xyntetik Runner обучает LoRA напрямую через квантованные веса GGUF

Joakimpalm-Zen обновил Xyntetik Runner для обучения адаптеров LoRA непосредственно с использованием тех же квантованных весов GGUF, которые он обслуживает для вывода, устраняя необходимость в отдельной копии FP16 для обучения или времени выполнения.