github llama.cpp · hace 2 h · inference

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows, Android y openEuler.
Los backends compatibles incluyen CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL, CUDA 12/13 y OpenCL Adreno.
macOS Apple Silicon con KleidiAI y Ubuntu x64 con ROCm 7.14 están actualmente deshabilitados en esta compilación.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10532 añade desquantización de KV en Metal para Flash Attention

El proyecto llama.cpp lanzó la versión b10532, introduciendo un paso de preprocesamiento en el backend de Metal que desquantiza los cachés de Key-Value (KV) cuantizados a F16 antes de ejecutar Flash Attention.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

github llama.cpp · hace 21 d · 38 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 30 d · 26 vistas

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.