github llama.cpp · hace 1 h · inference

llama.cpp b10519 refactoriza el manejo de suspensión para permitir acceso a métricas

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10519, que incluye una refactorización significativa del mecanismo de manejo de suspensión del servidor. Este cambio permite que el endpoint /metrics permanezca accesible mientras el servidor está en estado de suspensión.

Refactorizada la lógica on_sleeping_state y separadas las tareas/resultados de métricas y slots.
Añadidas respuestas en caché y corregida una condición de carrera en el temporizador de la tarea de métricas.
Corregido get_res_model_info y actualizada la documentación.
Proporcionados binarios para macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

media r/LocalLLaMA · hace 9 h · 2 vistas

El modelo MoE G9v3-39A5B muestra fuertes resultados en artificialanalysis

El modelo G9v3-39A5B está atrayendo atención por su rendimiento en artificialanalysis, donde se informa que ocupa un puesto superior al de Qwen 3.6 27B.

media Hugging Face Forums · hace 9 h · 1 vista

La canalización de Celestium permite ejecutar SDXL en GPUs de 4GB-8GB mediante FP16 adaptativo y fallback a CPU

Un diagnóstico utilizando la canalización de inferencia hardware-agnostic de Celestium demuestra que Stable Diffusion XL puede ejecutarse de forma estable en GPUs con baja VRAM (4GB, 6GB y 8GB) aprovechando la precisión FP16 adaptativa y la limpieza autónoma de memoria. El enfoque previene picos de fragmentación durante las canalizaciones multi-etapa y utiliza un modo CPU de emergencia para mantener la generación cuando se agota la VRAM de la GPU.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10505 añade la opción de preset dedup-cache-models

El proyecto llama.cpp ha lanzado la versión b10505, que introduce una nueva opción de preset `dedup-cache-models` para el componente del servidor.

media Hugging Face Forums · hace 2 d · 3 vistas

La cuantización de la magnitud de Fourier del caché KV duplica la longitud del contexto con la misma memoria

ntrillard demuestra que cuantificar el espectro de magnitud de Fourier de los valores del caché K y V a 4 bits, mientras se preserva la fase con precisión completa, logra un 96,9 % de coincidencia de tokens con la referencia fp16 en Gemma-3-1B, una mejora de 5 a 10 veces respecto a la cuantización estándar min-max.