github llama.cpp · hace 1 h · inference

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

Traducido del English → Español

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

Añade soporte k-quant (q2_K a q6_K) para manejar recetas GGUF comunes como Q4_K_M.
Extiende desquantizadores super-bloque compartidos a nueve i-quants con una disposición de 32 hilos.
Mueve el desquantizador mxfp4 a ayudantes compartidos, cerrando la cobertura de tipos GET_ROWS en CUDA.
Controla las comprobaciones de tamaño de fila solo para tipos de sub-bloque de 32 valores (iq4_nl y mxfp4) para evitar retrocesos innecesarios del host.

Al evitar que el programador retroceda al host para estos tipos de cuantización, la actualización evita copiar toda la matriz de incrustaciones de nuevo en cada token en gráficos de un solo dispositivo.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10085 corrige la localización de Qwen3-VL alineando la interpolación de incrustaciones de posición

El proyecto llama.cpp lanzó la compilación b10085, que incluye una corrección para la interpolación de incrustaciones de posición del modelo de visión Qwen3-VL para resolver las discrepancias en las coordenadas de localización.

github llama.cpp · hace 1 d

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

media Hugging Face Forums · hace 4 d · 2 vistas

zhongkaifu lanza TensorSharp, un motor de inferencia LLM nativo para .NET destinado a modelos GGUF

zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.

github llama.cpp · hace 4 d · 1 vista

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.