github llama.cpp · ahora mismo · inference

llama.cpp b10593 corrige el retroceso de DeepseekV4 y la carga del modelo

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10593, que aborda problemas críticos con la arquitectura del modelo DeepseekV4. La actualización resuelve específicamente un fallo de retroceso que ocurrió durante el procesamiento de múltiples secuencias.

Corrige el manejo del retroceso de DeepseekV4 para contextos de múltiples secuencias.
Corrige los procedimientos generales de carga del modelo.
Hace que las operaciones de retroceso pendientes sean de un solo uso para prevenir la corrupción del estado.
Asegura que la caché se borre solo para el ID de secuencia específico durante las cargas completas.
Añade aserciones para las ratios de compresión y hace estática la topología del grafo.

Esta versión mejora la estabilidad para los usuarios que ejecutan modelos DeepseekV4 con múltiples secuencias. También proporciona binarios actualizados para macOS, Linux, Windows, Android e iOS en varios backends de hardware incluyendo CPU, CUDA, ROCm y Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

media Hugging Face Forums · hace 2 d · 1 vista

El motor Celestium añade optimizaciones de VRAM y fallback a CPU para SDXL

El motor Celestium ha introducido varias mejoras para optimizar el rendimiento de SDXL en hardware con poca VRAM. Estos cambios se centran en la gestión de memoria, la estabilidad y los mecanismos de respaldo para garantizar una generación consistente incluso en sistemas con recursos limitados.

github llama.cpp · hace 2 d · 8 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10545 corrige lecturas fuera de límites en matmul de Metal para K no múltiplo de 32

El proyecto llama.cpp lanzó la compilación b10545, que aborda un error crítico en el kernel de multiplicación de matrices de la API de tensores del backend Metal. La actualización previene comportamiento indefinido y resultados corruptos al procesar tensores donde la dimensión K no es múltiplo de 32.