github llama.cpp · hace 1 h · inference

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

El servidor ahora asegura que el contexto de borrador siga el tamaño del contexto objetivo, previniendo fallos de decodificación cuando los slots se llenan más allá de los límites anteriores.
La reserva de memoria para el modelo de borrado se mide en el mayor contexto que el objetivo puede tomar, permitiendo que los contextos que comparten celdas con el objetivo eliminen la sobrescritura kv_size.
La función fit ahora toma en cuenta un segundo modelo opcional, asegurando que su memoria se mida siempre que el contexto principal cambie para mantener exacta la ruta reduce.

Esta actualización resuelve problemas de estabilidad en despliegues del servidor al alinear dinámicamente los tamaños del contexto de borrado y objetivo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

media Hugging Face Forums · hace 1 d · 1 vista

El motor Celestium añade optimizaciones de VRAM y fallback a CPU para SDXL

El motor Celestium ha introducido varias mejoras para optimizar el rendimiento de SDXL en hardware con poca VRAM. Estos cambios se centran en la gestión de memoria, la estabilidad y los mecanismos de respaldo para garantizar una generación consistente incluso en sistemas con recursos limitados.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10545 corrige lecturas fuera de límites en matmul de Metal para K no múltiplo de 32

El proyecto llama.cpp lanzó la compilación b10545, que aborda un error crítico en el kernel de multiplicación de matrices de la API de tensores del backend Metal. La actualización previene comportamiento indefinido y resultados corruptos al procesar tensores donde la dimensión K no es múltiplo de 32.

github llama.cpp · hace 2 d · 6 vistas

Lanzamiento de llama.cpp b10538 con caché KV desquantizado para grandes lotes

El proyecto llama.cpp ha lanzado la versión b10538, introduciendo una optimización clave en el backend metal. Esta actualización permite la desquantización del caché de claves y valores (KV) exclusivamente para tamaños de lote grandes.