github llama.cpp · 17 ч назад · inference

llama.cpp b11310 защищает ядро деquantизации iq4_nl от коротких строк

Переведено с English → Русский

Проект llama.cpp выпустил версию b11310, которая включает исправление логики деquantизации IQ4_NL для бэкенда CUDA. Обновление устраняет проблему безопасности памяти, при которой потоки могли читать и записывать данные за пределами конца строки при обработке блоков короче QK_K.

Защищает ядро деquantизации строк iq4_nl от коротких строк путем пропуска подблоков, начинающихся на длине строки или за ее пределами.
Предоставляет предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), Linux, Windows, Android и openEuler для CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL и Snapdragon бэкендов.

Это исправление предотвращает потенциальный выход за пределы памяти при выводе с моделями, квантованными IQ4_NL, на устройствах CUDA.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

media Hugging Face Forums · 3 ч назад

Предложение извлекать нативную латентную память LLM вместо текста в RAG

Обсуждение на Hugging Face предлагает заменить традиционное извлечение текста в системах RAG на нативные латентные представления LLM. Идея заключается в кодировании документов во внутренние состояния модели во время индексации и извлечении этих состояний для вывода, что потенциально позволяет избежать затрат на повторную обработку извлеченного текста.

github llama.cpp · 17 ч назад · 4 просмотра

llama.cpp b11309 оптимизирует ALLREDUCE для Hexagon с безопасным режимом scatter

Проект llama.cpp выпустил версию b11309, включающую ключевую оптимизацию для бэкенда Hexagon. Это обновление добавляет поддержку безопасного режима scatter в операцию ALLREDUCE, направленную на улучшение производительности и стабильности на устройствах Qualcomm Snapdragon.

github llama.cpp · 20 ч назад · 1 просмотр

llama.cpp b11307 сохраняет порядок батчей для спекулятивного декодирования

Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.

github llama.cpp · 21 ч назад · 7 просмотров

llama.cpp b11306 исправляет сбой перераспределения графа переключением causal_attn

Проект llama.cpp выпустил сборку b11306, которая устраняет сбой, вызванный изменением формы графа во время декодирования. Обновление изменяет обработку флага `causal_attn`, чтобы предотвратить сбои перераспределения при определённых ограничениях планирования.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11301 исправляет переполнение целочисленного типа в ggml/gguf

Проект llama.cpp выпустил сборку b11301, которая включает исправление проблемы с переполнением целочисленного типа в компонентах ggml и gguf. Это обновление корректирует логику проверки для предотвращения потенциальных ошибок при работе с тензорами нулевого размера.