Проект llama.cpp выпустил версию b10025, которая включает изменение, смягчающее требования к непрерывности тензоров для операций квантованного конкатенирования.

  • Основное обновление модифицирует бэкенд CUDA и библиотеку ggml, чтобы разрешить использование несплошных тензоров при квантованном конкатенировании.
  • Добавлены тестовые случаи для проверки функциональности с несплошными входными данными для квантованного конкатенирования.
  • Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Это обновление обновляет среду сборки и исправляет конкретные ограничения обработки тензоров для квантованных операций.