github llama.cpp · hace 1 h · inference

llama.cpp b11006 añade soporte Hexagon para K-Quants Q4_K y Q6_K

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11006, introduciendo soporte para procesadores Qualcomm Hexagon para manejar formatos de cuantización K. Esta actualización implementa núcleos específicos para los niveles de cuantización Q4_K y Q6_K en la arquitectura Hexagon.

Implementación de núcleos q6k y q4k para DSPs de Hexagon.
Mejora de la precisión de desempaquetado para el núcleo hex-q6k.
Añadido soporte para núcleos Q4_K en hardware Hexagon.

El lanzamiento proporciona binarios precompilados para macOS, Linux, Windows, Android y openEuler a través de varios backends de CPU y GPU incluyendo CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 9 d · 21 vistas

llama.cpp b10840 añade desempaquetado sin ramificación Q4_K/Q5_K y prefetch L2 para CUDA

El proyecto llama.cpp lanzó la versión b10840, que introduce optimizaciones de rendimiento para inferencia en CUDA. La actualización implementa cómputo sin ramificación para los formatos de cuantización Q4_K y Q5_K para acelerar la multiplicación matriz-vector (mmvq).

github llama.cpp · hace 10 d · 21 vistas

llama.cpp b10827 corrige la selección de empaquetado de pesos OpenCL para mul_mat q4_K y q5_K

El proyecto llama.cpp ha lanzado la versión b10827, que incluye una corrección para elegir correctamente el empaquetado de pesos para las operaciones de multiplicación de matrices q4_K y q5_K utilizando OpenCL.

github llama.cpp · hace 13 d · 28 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

lab Hugging Face Blog · hace 15 d · 20 vistas

Hugging Face lanza 207 núcleos WebGPU y una herramienta de evaluación en el navegador

Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.