github llama.cpp · hace 1 h · inference

llama.cpp b10085 corrige la localización de Qwen3-VL alineando la interpolación de incrustaciones de posición

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10085, que incluye una corrección para la interpolación de incrustaciones de posición del modelo de visión Qwen3-VL para resolver las discrepancias en las coordenadas de localización.

El cambio cambia el método de interpolación de bilineal+antialias por defecto (align_corners=False) a align_corners=True, coincidiendo con la implementación de referencia de transformers.
Esto corrige los problemas de escalado en las coordenadas de localización que anteriormente crecían con el tamaño de la imagen y variaban por eje para imágenes no cuadradas.
Los binarios están disponibles para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

github llama.cpp · hace 4 d · 1 vista

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.

github llama.cpp · hace 4 d · 1 vista

llama.cpp b10067 excluye la tabla de enrutamiento de DeepSeek-V4 de la cuantización

El proyecto llama.cpp lanzó la versión b10067, que incluye una corrección para la herramienta `llama-quantize` para manejar correctamente los modelos DeepSeek-V4. La actualización evita que el cuantizador intente convertir el tensor `ffn_gate_tid2eid`, una tabla de índices de token a experto i32, en un tipo float.

github llama.cpp · hace 5 d

llama.cpp b10066 añade soporte para el kernel kernel_gemm_moe_q6_k_f32_ns mediante OpenCL

El proyecto llama.cpp ha lanzado la versión b10066, introduciendo soporte para el kernel `kernel_gemm_moe_q6_k_f32_ns` a través de OpenCL. Esta actualización permite la carga y el uso de esta biblioteca de kernels binarios específica dentro del marco.

github llama.cpp · hace 5 d · 5 vistas

Lanzamiento de llama.cpp b10064 con optimización de transposición OpenCL

El proyecto llama.cpp ha lanzado la versión b10064, que incluye un cambio en el backend de OpenCL. Esta actualización modifica el formato de cuantización q4_K transponiendo las escalas noshuffle para habilitar lecturas combinadas.