Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.
Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).
Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.
Проект llama.cpp выпустил версию b11104, внедряющую новую функцию, позволяющую компоненту llama-server одновременно привязываться к нескольким сетевым адресам.
Проект llama.cpp выпустил сборку b11102, которая добавляет поддержку преобразования моделей MiMo-V2.6.
Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.
Джун Ким, создатель и сопровождающий проекта oMLX, присоединился к Hugging Face для поддержки сообщества MLX. Этот шаг направлен на обеспечение стабильности и ускорение разработки открытого проекта путем перевода его из побочного занятия в полностью поддерживаемую и финансируемую инициативу.
Пользователь планирует создать нецензурную, нативную греческую большую языковую модель для локального развертывания с использованием чекпоинта ilsp/Llama-Krikri-8B-Instruct. Предложенный план включает абляцию модели с помощью Heretic (heretic-llm), конвертацию в формат GGUF Q4_K_M и выполнение инференса на устройстве GMKtec EVO-X3, оснащенном процессором AMD Ryzen AI MAX+ 395, через Vulkan.
Проект llama.cpp выпустил версию b11090, которая включает исправление ошибки компиляции тайлов sm_70. Обновление обобщает форму тайла функции load_ldmatrix с 5 аргументами для устранения несоответствий с архитектурами Volta.
Проект llama.cpp выпустил сборку b11081, которая включает несколько обновлений инфраструктуры тестирования `test-llama-archs`. Ключевые изменения включают возможность настройки стандартного отклонения данных тензоров, расширение примеров использования и добавление поддержки регулярных выражений для архитектур.
Проект llama.cpp выпустил сборку b11074, которая включает исправление обработки JSON enum. Обновление добавляет поддержку common_json_value для значений enum и упрощает код, делегируя конструктор enum конструктору базового типа.
Проект llama.cpp выпустил сборку b11067, которая внедряет объединённую операцию GDN + копирование для бэкенда WebGPU.
Проект llama.cpp выпустил сборку b11060, которая включает исправление для модели Mamba, чтобы обеспечить непрерывность входных данных проекции временного шага. Это изменение устраняет проблемы с расположением памяти в реализации Mamba.
Проект llama.cpp выпустил версию b11054, которая добавляет поддержку оператора TOP_K на DSP Qualcomm Hexagon. Это обновление включает оптимизации для обработки одиночных строк и исправления для разделения строк.
Проект llama.cpp выпустил версию b11055, которая вводит поддержку функции активации GEGLU_QUICK на DSP Hexagon.
Проект llama.cpp выпустил версию b11053, которая включает конкретное улучшение сообщений журнала запуска сервера. Это изменение повышает прозрачность процесса загрузки моделей, заменяя непонятные маркеры явными тегами источника.
Проект llama.cpp выпустил сборку b11048, которая добавляет поддержку новых вариантов операций HC DSV4, используемых в qwen4exp. Это обновление включает конкретные реализации hc_pre с поразрядной сигмоидной активацией и hc_post с тождественным смешиванием.
Версия Celestium CARE для NVIDIA завершена и доступна как профессиональный инструмент для видеокарт GTX и RTX. Она использует NVML для предоставления таких функций, как очистка VRAM, расписание автоматической очистки и полное мониторинг телеметрии.
Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.
Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.