github llama.cpp · 19 ч назад · inference

llama.cpp b11102 добавляет поддержку MiMo-V2.6

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11102, которая добавляет поддержку преобразования моделей MiMo-V2.6.

Пересборка конвертации K3 mxfp4 была перенесена в base.py для обеспечения повторного использования.
Декодер был удалён из процесса конвертации mmproj.
Логика конвертации теперь использует автопарсер.
Бинарные файлы доступны для macOS, Linux, Windows, Android и openEuler с поддержкой бэкендов CPU, GPU и NPU.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 17 ч назад · 13 просмотров

llama.cpp b11104 добавляет поддержку привязки llama-server к нескольким адресам

Проект llama.cpp выпустил версию b11104, внедряющую новую функцию, позволяющую компоненту llama-server одновременно привязываться к нескольким сетевым адресам.

lab Hugging Face Blog · 20 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.