github llama.cpp · hace 1 h · inference

llama.cpp b10726 acelera el procesamiento de prompts de modelos IQ en grandes lotes con AVX2

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10726, que introduce optimizaciones significativas de rendimiento para procesar tamaños de lote grandes en modelos cuantizados IQ. La actualización principal aprovecha las instrucciones AVX2 para acelerar los cuantizados IQ de cuadrícula a través de operaciones GEMM por lotes.

Implementación de GEMM por lotes para cuantizados IQ de cuadrícula
Vectorización de la decodificación de paneles IQ con un umbral reducido para aceleración
Introducción del kernel ggml_gemm_iqp_8x8_q8_K_p4 y eliminación del búfer gather
Disposición de gather de fuente única, sesgo de puerta y entrelazado vectorizado para paneles IQ
Adición de soporte de respaldo NUMA y pruebas de lotes de 10 filas para cobertura IQP

Esta versión proporciona capacidades de inferencia más rápidas para usuarios que ejecutan modelos IQ en hardware compatible.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10723 ajusta rutas de cuantización OpenCL para GPUs Intel Xe-LP

El proyecto llama.cpp lanzó la versión b10723, que incluye optimizaciones específicas para OpenCL en hardware gráfico Intel Xe-LP. La actualización se centra en mejorar el rendimiento de generación de tensores (TG) y prellenado (PP) ajustando los núcleos de cuantización.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 8 h · 3 vistas

La versión b10717 de llama.cpp mejora la recuperación de información de memoria SYCL

El proyecto llama.cpp ha lanzado la versión b10717, que incluye una mejora específica para el backend SYCL en GPUs Intel. Esta actualización mejora la capacidad de recuperar información sobre la memoria libre aprovechando la API L0 SYCL.

github llama.cpp · hace 14 h · 3 vistas

llama.cpp b10712 añade selección radix top-k de Vulkan para Qwen 3.8 Flash Next

El proyecto llama.cpp lanzó la compilación b10712, introduciendo un nuevo shader de ordenamiento radix top-k diseñado para Vulkan para admitir valores k mayores o iguales a 1024. Esta actualización se dirige específicamente al modelo Qwen 3.8 Flash Next e incluye pruebas correspondientes así como fusión top-k qsa.

github llama.cpp · hace 21 h · 6 vistas

llama.cpp b10705 mejora el manejo de TENSOR_READ_LAZY

El proyecto llama.cpp ha lanzado la versión b10705, que incluye una mejora en el mecanismo de manejo de TENSOR_READ_LAZY. Esta actualización fuerza los tensores perezosos en la CPU cuando está habilitada la configuración perezosa.