Проект llama.cpp выпустил версию b9855, которая вводит оптимизацию AVX2 для скалярного произведения nvfp4 с использованием таблицы поиска (LUT) UE4M3 в бэкенде ggml-cpu.

  • Доступны сборки macOS для Apple Silicon и Intel, а также iOS XCFramework.
  • Бинарные файлы Linux поддерживают архитектуры Ubuntu x64, arm64 и s390x через CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL (FP32/FP16).
  • Выпуски для Windows включают бэкенды CPU, OpenCL Adreno, CUDA 12.4 и 13.3, Vulkan, OpenVINO, SYCL и HIP.
  • Предоставлены бинарные файлы Android arm64 CPU для мобильной развертки.
  • Поддержка KleidiAI на macOS Apple Silicon отключена в этом выпуске.

Это обновление предоставляет пользователям оптимизированные возможности вывода для конкретных аппаратных конфигураций и расширяет диапазон поддерживаемых ускорителей на основных операционных системах.