github llama.cpp · hace 1 h · inference

llama.cpp b10604 añade soporte para formato DSV4 de Deepseek 4 y binarios para macOS/iOS

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10604, introduciendo soporte para el formato de modelo Deepseek 4 (DSV4) junto con nuevos binarios precompilados para macOS e iOS.

Añade soporte para tensores sm de Deepseek 4 (DSV4) con granularidad más gruesa para divisiones de cabezas y correcciones para dspark.
Habilita el guardado de modelos para DSV4 y permite que dflash regrese en dispositivos específicos.
Incluye funcionalidad de allreduce diferido para expertos compartidos.
Proporciona binarios para Apple Silicon en macOS, XCFrameworks para iOS, y binarios actualizados para Linux, Windows, Android y openEuler a través de CPU, GPU y backends especializados.

Este lanzamiento permite a los usuarios ejecutar modelos Deepseek 4 utilizando llama.cpp y proporciona compilaciones nativas actualizadas para dispositivos Apple.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10598 utiliza un algoritmo de redimensionamiento pillow-accurate y corrige resize_algo para todos los modelos

El proyecto llama.cpp lanzó la compilación b10598, que actualiza el módulo mtmd para usar un algoritmo de redimensionamiento pillow-accurate y corrige el resize_algo para todos los modelos. Este lanzamiento también incluye optimizaciones de velocidad.

github llama.cpp · hace 21 h · 3 vistas

llama.cpp b10593 corrige el retroceso de DeepseekV4 y la carga del modelo

El proyecto llama.cpp ha lanzado la compilación b10593, que aborda problemas críticos con la arquitectura del modelo DeepseekV4. La actualización resuelve específicamente un fallo de retroceso que ocurrió durante el procesamiento de múltiples secuencias.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

github llama.cpp · hace 2 d · 8 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

media Hugging Face Forums · hace 3 d · 6 vistas

El motor Celestium añade optimizaciones de VRAM y fallback a CPU para SDXL

El motor Celestium ha introducido varias mejoras para optimizar el rendimiento de SDXL en hardware con poca VRAM. Estos cambios se centran en la gestión de memoria, la estabilidad y los mecanismos de respaldo para garantizar una generación consistente incluso en sistemas con recursos limitados.