github llama.cpp · hace 1 h · inference

Lanzamiento de llama.cpp b10538 con caché KV desquantizado para grandes lotes

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10538, introduciendo una optimización clave en el backend metal. Esta actualización permite la desquantización del caché de claves y valores (KV) exclusivamente para tamaños de lote grandes.

El cambio principal está en el backend metal, que ahora aplica el caché KV desquantizado solo al procesar lotes grandes.
Los binarios están disponibles para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

El soporte de KleidiAI en Apple Silicon para macOS y ROCm 7.14 en Ubuntu están deshabilitados en este lanzamiento.

Esta optimización tiene como objetivo mejorar la eficiencia de memoria o el rendimiento para cargas de trabajo que implican tamaños de lote grandes en hardware compatible.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10532 añade desquantización de KV en Metal para Flash Attention

El proyecto llama.cpp lanzó la versión b10532, introduciendo un paso de preprocesamiento en el backend de Metal que desquantiza los cachés de Key-Value (KV) cuantizados a F16 antes de ejecutar Flash Attention.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10519 refactoriza el manejo de suspensión para permitir acceso a métricas

El proyecto llama.cpp lanzó la versión b10519, que incluye una refactorización significativa del mecanismo de manejo de suspensión del servidor. Este cambio permite que el endpoint /metrics permanezca accesible mientras el servidor está en estado de suspensión.

github llama.cpp · hace 9 h · 2 vistas

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

media r/LocalLLaMA · hace 14 h · 2 vistas

El modelo MoE G9v3-39A5B muestra fuertes resultados en artificialanalysis

El modelo G9v3-39A5B está atrayendo atención por su rendimiento en artificialanalysis, donde se informa que ocupa un puesto superior al de Qwen 3.6 27B.

media Hugging Face Forums · hace 14 h · 1 vista

La canalización de Celestium permite ejecutar SDXL en GPUs de 4GB-8GB mediante FP16 adaptativo y fallback a CPU

Un diagnóstico utilizando la canalización de inferencia hardware-agnostic de Celestium demuestra que Stable Diffusion XL puede ejecutarse de forma estable en GPUs con baja VRAM (4GB, 6GB y 8GB) aprovechando la precisión FP16 adaptativa y la limpieza autónoma de memoria. El enfoque previene picos de fragmentación durante las canalizaciones multi-etapa y utiliza un modo CPU de emergencia para mantener la generación cuando se agota la VRAM de la GPU.