github llama.cpp · 1 ч назад · inference

webgpu добавляет поддержку MMVQ для Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Переведено с English → Русский

Компонент webgpu добавил поддержку форматов MMVQ (Multi-Mode Vector Quantization), в частности Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K и MXFP4.

Это обновление решает проблему #29 в репозитории llama.cpp, расширяя возможности квантования в среде webgpu.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Eqx-zoo предоставляет проверенные порты моделей Equinox для Hugging Face

Автор создал eqx-zoo — библиотеку, которая загружает чекпоинты с Hugging Face Hub непосредственно в виде обычных модулей Equinox и проверяет каждую модель против библиотеки transformers. В настоящее время проект поддерживает Llama, Qwen2, Qwen3, Qwen3-MoE для генерации, а также BERT, RoBERTa, XLM-RoBERTa для эмбеддингов.

media Hugging Face Forums · 3 д назад · 18 просмотров

AiiStream Q3.6 позволяет запускать Qwen3.6-35B-A3B на Mac с 8–16 ГБ ОЗУ

Автор выпустил AiiStream Q3.6, технологию с открытым исходным кодом, которая позволяет модели Qwen3.6-35B-A3B работать на устройствах Apple Silicon с объёмом оперативной памяти всего от 8 до 16 ГБ. За счёт хранения маршрутизируемых экспертов на SSD и использования предсказаний ранней загрузки метод снижает потребление памяти MLX примерно до 1,7 ГБ, сохраняя при этом полностью идентичные результаты по байтам по сравнению со стандартной реализацией mlx_lm.

github llama.cpp · 4 д назад · 26 просмотров

llama.cpp b11307 сохраняет порядок батчей для спекулятивного декодирования

Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.

github llama.cpp · 4 д назад · 17 просмотров

llama.cpp b11301 исправляет переполнение целочисленного типа в ggml/gguf

Проект llama.cpp выпустил сборку b11301, которая включает исправление проблемы с переполнением целочисленного типа в компонентах ggml и gguf. Это обновление корректирует логику проверки для предотвращения потенциальных ошибок при работе с тензорами нулевого размера.

github llama.cpp · 4 д назад · 18 просмотров

llama.cpp b11302 исправляет гонку данных ThreadSanitizer в разреженном индексаторе

Проект llama.cpp выпустил сборку b111302, которая устраняет критическую проблему конкурентности, выявленную ThreadSanitizer в конвейере CI. Обновление решает гонку данных внутри механизма разреженного внимания, где несколько потоков CPU некорректно записывали данные в одни и те же элементы памяти.