github llama.cpp · hace 1 h · inference

llama.cpp b10509 añade soporte para ggml_rope_set_offset en Metal, CUDA y Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10509, que introduce soporte para la función `ggml_rope_set_offset` en múltiples backends de hardware. Esta actualización incluye implementaciones de CPU, Metal, CUDA y Vulkan para la nueva operación.

Se añadieron los parámetros `ggml_rope_set_offset` y la implementación del kernel de CPU.
Se implementó el soporte del kernel de Metal para la nueva funcionalidad de desplazamiento rope.
Se habilitó el soporte de CUDA para `ggml_rope_set_offset` mientras se eliminaba la protección `supports_op`.
Se añadió soporte para el backend de Vulkan en `ggml_rope_set_offset` tanto en Linux como en Windows.
Se eliminó la optimización in-place de las operaciones relevantes.

El lanzamiento proporciona binarios precompilados para macOS, iOS, Linux, Android, Windows y openEuler en varias arquitecturas, incluyendo CPU, GPU y aceleradores especializados como OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.

github llama.cpp · hace 7 d · 23 vistas

llama.cpp b10413 añade la detección automática del tipo de especificación de borrador a partir de los metadatos GGUF

El proyecto llama.cpp lanzó la versión b10413, que introduce la detección automática del tipo de especificación de descodificación especulativa directamente desde los metadatos del modelo GGUF de borrador.

github llama.cpp · hace 7 d · 26 vistas

llama.cpp b10410 elimina la promoción de tipo fp32 separada en el camino gemm non-oneDNN

El proyecto llama.cpp ha lanzado la versión b10410, que incluye un cambio de código para el backend SYCL. Esta actualización elimina la promoción de tipo fp32 separada en el camino GEMM non-oneDNN y en su lugar utiliza la promoción automática fp16.

github llama.cpp · hace 7 d · 25 vistas

llama.cpp b10408 añade kernel ESIMD Q3_K y mueve el control al tiempo de ejecución

El proyecto llama.cpp lanzó la versión b10408, que introduce un kernel DMMV Q3_K ESIMD para GPUs Intel. Este lanzamiento también incluye nuevos kernels ESIMD Q4_K y Q6_K y refactoriza la base de código para permitir el control de ESIMD en tiempo de ejecución en lugar de en tiempo de compilación.

github llama.cpp · hace 9 d · 23 vistas

llama.cpp b10353 corrige resultados incorrectos silenciosos en kernels ROLL de CUDA y Metal

El proyecto llama.cpp lanzó la compilación b10353, que aborda un error crítico en la operación ggml_roll en los backends de CUDA y Metal. Anteriormente, los tensores fuente permutados (no contiguos) producían resultados incorrectos silenciosamente porque estos backends ignoraban la información de paso.