github llama.cpp · ahora mismo · inference

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

El nuevo argumento es compatible con una variable de entorno `MTMD_BACKEND_DEVICE` retrocompatible.
También está disponible un indicador corto `-mmdev` para acceder rápidamente a esta funcionalidad.
La versión incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android y openEuler.
También se proporciona una versión actualizada del binario de la interfaz de usuario en esta versión.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10532 añade desquantización de KV en Metal para Flash Attention

El proyecto llama.cpp lanzó la versión b10532, introduciendo un paso de preprocesamiento en el backend de Metal que desquantiza los cachés de Key-Value (KV) cuantizados a F16 antes de ejecutar Flash Attention.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

github llama.cpp · hace 20 d · 35 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 29 d · 26 vistas

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10545 corrige lecturas fuera de límites en matmul de Metal para K no múltiplo de 32

El proyecto llama.cpp lanzó la compilación b10545, que aborda un error crítico en el kernel de multiplicación de matrices de la API de tensores del backend Metal. La actualización previene comportamiento indefinido y resultados corruptos al procesar tensores donde la dimensión K no es múltiplo de 32.