github llama.cpp · ahora mismo · inference

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

Añadida la implementación del kernel `flash_attn_f32_f16_bin` para OpenCL.
Implementada la lógica de prellenado protegido para Flash Attention en el backend de OpenCL.
Proporcionados binarios para macOS (Apple Silicon e Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android e iOS.

Esta versión amplía la compatibilidad de hardware para los mecanismos de atención en dispositivos con capacidad OpenCL, manteniendo un amplio soporte entre los principales sistemas operativos y aceleradores.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.

github llama.cpp · hace 2 d · 7 vistas

llama.cpp b11006 añade soporte Hexagon para K-Quants Q4_K y Q6_K

El proyecto llama.cpp lanzó la versión b11006, introduciendo soporte para procesadores Qualcomm Hexagon para manejar formatos de cuantización K. Esta actualización implementa núcleos específicos para los niveles de cuantización Q4_K y Q6_K en la arquitectura Hexagon.

github llama.cpp · hace 4 d · 10 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 11 d · 24 vistas

llama.cpp b10840 añade desempaquetado sin ramificación Q4_K/Q5_K y prefetch L2 para CUDA

El proyecto llama.cpp lanzó la versión b10840, que introduce optimizaciones de rendimiento para inferencia en CUDA. La actualización implementa cómputo sin ramificación para los formatos de cuantización Q4_K y Q5_K para acelerar la multiplicación matriz-vector (mmvq).

github llama.cpp · hace 12 d · 23 vistas

llama.cpp b10827 corrige la selección de empaquetado de pesos OpenCL para mul_mat q4_K y q5_K

El proyecto llama.cpp ha lanzado la versión b10827, que incluye una corrección para elegir correctamente el empaquetado de pesos para las operaciones de multiplicación de matrices q4_K y q5_K utilizando OpenCL.