media Hugging Face Forums · hace 1 h · open_models

Celestium Neon corrige el OOM de SDXL en GPUs de 4 GB limpiando la VRAM

Traducido del English → Español

Celestium Neon es una nueva herramienta diseñada para limpiar la VRAM y permitir la inferencia de Stable Diffusion XL (SDXL) en tarjetas gráficas con solo 4 GB de memoria, como la GTX 1650.

La herramienta opera a través de varios mecanismos clave:

Limpieza L1-L2 de PyTorch para liberar VRAM de tensores zombis
Monitoreo de VRAM en tiempo real para mostrar las caídas de MiB en vivo
Funcionalidad SDXL RESET para forzar la limpieza cuando ocurren errores de falta de memoria
Intervalos de limpieza automática configurados cada 5 minutos

Las pruebas en una GTX 1650 con el controlador 591.86 demostraron que la herramienta previene con éxito los bloqueos por OOM, reduciendo el uso de VRAM a 938 MiB después de la limpieza y permitiendo completar la generación de imágenes.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Local inference

Leer original

llama.cpp b10636 desactiva la compilación de la interfaz npm por defecto y limpia CI

El proyecto llama.cpp lanzó la versión b10636, que cambia el comportamiento predeterminado al compilar la interfaz web. La compilación de la interfaz basada en npm ahora está desactivada por defecto (LLAMA_BUILD_UI=OFF), y la interfaz se incrusta desde fuentes locales o descargas preconstruidas.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b10635 desbloquea mmq para MoE en sm_60

El proyecto llama.cpp lanzó la versión b10635, que incluye actualizaciones específicas de soporte para CUDA. El cambio principal es el desbloqueo de la multiplicación de matrices de precisión mixta (mmq) para arquitecturas Mixture of Experts (MoE) en GPUs con capacidad de cómputo 6.0 (sm_60).

github llama.cpp · hace 2 d · 11 vistas

llama.cpp b10604 añade soporte para formato DSV4 de Deepseek 4 y binarios para macOS/iOS

El proyecto llama.cpp ha lanzado la versión b10604, introduciendo soporte para el formato de modelo Deepseek 4 (DSV4) junto con nuevos binarios precompilados para macOS e iOS.

github llama.cpp · hace 3 d · 5 vistas

llama.cpp b10598 utiliza un algoritmo de redimensionamiento pillow-accurate y corrige resize_algo para todos los modelos

El proyecto llama.cpp lanzó la compilación b10598, que actualiza el módulo mtmd para usar un algoritmo de redimensionamiento pillow-accurate y corrige el resize_algo para todos los modelos. Este lanzamiento también incluye optimizaciones de velocidad.

github llama.cpp · hace 3 d · 6 vistas

llama.cpp b10593 corrige el retroceso de DeepseekV4 y la carga del modelo

El proyecto llama.cpp ha lanzado la compilación b10593, que aborda problemas críticos con la arquitectura del modelo DeepseekV4. La actualización resuelve específicamente un fallo de retroceso que ocurrió durante el procesamiento de múltiples secuencias.