github llama.cpp · hace 18 h · inference

llama.cpp b10702 optimiza el producto punto Q2_0 para AMD gfx1201

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10702, que incluye una optimización específica para la ruta del producto punto de cuantización Q2_0 en la arquitectura gfx1201 de AMD. Esta actualización amplía la implementación de HIP para usar instrucciones nativas de permutación amdgcn, mejorando el rendimiento para esta configuración de hardware específica.

Optimiza `vec_dot_q2_0_q8_1` con permutación amdgcn nativa para gfx1201.
Amplía la optimización de permutación Q2_0 de HIP y elimina las protecciones redundantes de disponibilidad.
Optimiza el desempaque MMQ Q2_0 de HIP usando instrucciones de permutación nativas.
Restaura el manejo del índice de mosaico MMQ y etiqueta las protecciones del preprocesador HIP en el código CUDA.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de CPU, GPU (CUDA, ROCm, Vulkan, OpenCL) y backends especializados como OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 4 h · 3 vistas

La versión b10717 de llama.cpp mejora la recuperación de información de memoria SYCL

El proyecto llama.cpp ha lanzado la versión b10717, que incluye una mejora específica para el backend SYCL en GPUs Intel. Esta actualización mejora la capacidad de recuperar información sobre la memoria libre aprovechando la API L0 SYCL.

github llama.cpp · hace 10 h · 3 vistas

llama.cpp b10712 añade selección radix top-k de Vulkan para Qwen 3.8 Flash Next

El proyecto llama.cpp lanzó la compilación b10712, introduciendo un nuevo shader de ordenamiento radix top-k diseñado para Vulkan para admitir valores k mayores o iguales a 1024. Esta actualización se dirige específicamente al modelo Qwen 3.8 Flash Next e incluye pruebas correspondientes así como fusión top-k qsa.

github llama.cpp · hace 17 h · 6 vistas

llama.cpp b10705 mejora el manejo de TENSOR_READ_LAZY

El proyecto llama.cpp ha lanzado la versión b10705, que incluye una mejora en el mecanismo de manejo de TENSOR_READ_LAZY. Esta actualización fuerza los tensores perezosos en la CPU cuando está habilitada la configuración perezosa.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b10691 corrige el bloqueo de Metal por null-pipeline en mul_mat F16

El proyecto llama.cpp lanzó la compilación b10691, que aborda un problema crítico de estabilidad en el backend de Metal. La actualización resuelve específicamente un bloqueo de null-pipeline que ocurría durante las operaciones de multiplicación de fuentes F16.