github llama.cpp · hace 2 h · inference

llama.cpp b10598 utiliza un algoritmo de redimensionamiento pillow-accurate y corrige resize_algo para todos los modelos

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10598, que actualiza el módulo mtmd para usar un algoritmo de redimensionamiento pillow-accurate y corrige el resize_algo para todos los modelos. Este lanzamiento también incluye optimizaciones de velocidad.

El módulo mtmd ahora emplea un algoritmo de redimensionamiento pillow-accurate.
El resize_algo ha sido corregido en todos los modelos.
Se aplicaron optimizaciones generales de velocidad.

Esta actualización asegura un redimensionamiento de imágenes más preciso en el módulo mtmd y mejora el rendimiento para usuarios que ejecutan llama.cpp en macOS, iOS, Linux, Windows, Android y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10593 corrige el retroceso de DeepseekV4 y la carga del modelo

El proyecto llama.cpp ha lanzado la compilación b10593, que aborda problemas críticos con la arquitectura del modelo DeepseekV4. La actualización resuelve específicamente un fallo de retroceso que ocurrió durante el procesamiento de múltiples secuencias.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.

github llama.cpp · hace 2 d · 5 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

media Hugging Face Forums · hace 2 d · 4 vistas

El motor Celestium añade optimizaciones de VRAM y fallback a CPU para SDXL

El motor Celestium ha introducido varias mejoras para optimizar el rendimiento de SDXL en hardware con poca VRAM. Estos cambios se centran en la gestión de memoria, la estabilidad y los mecanismos de respaldo para garantizar una generación consistente incluso en sistemas con recursos limitados.

github llama.cpp · hace 3 d · 9 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.