github llama.cpp · 2 д назад · inference

llama.cpp b11074 исправляет обработку JSON enum

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11074, которая включает исправление обработки JSON enum. Обновление добавляет поддержку common_json_value для значений enum и упрощает код, делегируя конструктор enum конструктору базового типа.

Этот релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu с CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.

Обновление доступно для загрузки на всех поддерживаемых платформах для обеспечения корректного поведения парсинга JSON.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 17 ч назад · 13 просмотров

llama.cpp b11104 добавляет поддержку привязки llama-server к нескольким адресам

Проект llama.cpp выпустил версию b11104, внедряющую новую функцию, позволяющую компоненту llama-server одновременно привязываться к нескольким сетевым адресам.

github llama.cpp · 19 ч назад · 15 просмотров

llama.cpp b11102 добавляет поддержку MiMo-V2.6

Проект llama.cpp выпустил сборку b11102, которая добавляет поддержку преобразования моделей MiMo-V2.6.