github llama.cpp · hace 12 h · inference

llama.cpp b11035 añade núcleos IQ3_S MMQ matmul para Vulkan

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11035, introduciendo soporte para núcleos de multiplicación de matrices IQ3_S MMQ en su backend de Vulkan.

La actualización incluye nuevos núcleos IQ3_S MMQ matmul para Vulkan.
Block_a_to_shmem ahora realiza cargas de 2 bytes para optimizar el acceso a la memoria.
Las comprobaciones de alineación se han ajustado ya que IQ3_S utiliza el tamaño del tile K.
Los binarios están disponibles para macOS, Linux, Windows, Android y openEuler en plataformas CPU, CUDA, ROCm, OpenVINO, SYCL y OpenCL.

Esta versión proporciona binarios actualizados para varios sistemas operativos y aceleradores de hardware, permitiendo a los usuarios aprovechar el nuevo soporte de cuantización de Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b11044 actualiza hexagon im2col y libera binarios

El proyecto llama.cpp ha lanzado la versión b11044, que incluye una actualización al backend hexagon para mejorar las operaciones image-to-column (im2col). El lanzamiento proporciona binarios precompilados para macOS, Linux, Windows, Android y openEuler en CPU, GPU y otros aceleradores de hardware.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b11045 añade soporte para la operación ROLL en el backend Hexagon

El proyecto llama.cpp ha lanzado la versión b11045, que introduce soporte para la operación ROLL dentro del backend Hexagon.

github llama.cpp · hace 1 d · 5 vistas

llama.cpp b11026 omite gate_up_exps para Qwen35MoE

El proyecto llama.cpp lanzó la compilación b11026, que introduce un cambio para omitir gate_up_exps cuando se establece el indicador TENSOR_SKIP. Esta modificación es específicamente necesaria para los modelos Qwen35MoE donde los tensores MTP están fusionados pero no cargados.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.