O projeto llama.cpp lançou a versão b10025, que inclui uma alteração para relaxar os requisitos de contiguidade de tensores para operações de concatenação quantizada.

  • A atualização principal modifica o backend CUDA e a biblioteca ggml subjacente para permitir tensores não contíguos durante a concat quantizada.
  • Casos de teste foram adicionados para verificar a funcionalidade com entradas de concat quantizada não contígua.
  • Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Este lançamento atualiza o ambiente de compilação e corrige restrições específicas de manipulação de tensores para operações quantizadas.