media r/LocalLLaMA · hace 54 d · open_models

unsloth GLM-5.2-GGUF con cuantización de 2 bits en 238GB

Traducido del English → Español

El modelo unsloth GLM-5.2-GGUF está disponible con cuantización de 2 bits, con un tamaño de 238GB. Está alojado en Hugging Face y compartido a través de una publicación en Reddit en la comunidad LocalLLaMA.

Importancia 2/3 r/LocalLLaMA Zhipu AI Inference efficiency Open weights

Leer original

Ejecutar GLM5.2 en hardware económico < $2500

Un usuario de Reddit demuestra cómo ensamblar un equipo local de inferencia de IA por menos de $2500 utilizando componentes asequibles de segunda mano, apuntando específicamente a la capacidad de ejecutar modelos de lenguaje grandes como GLM-5.2 sin hardware empresarial costoso.

media r/LocalLLaMA · hace 48 d · 8 vistas

GLM-5.2 en 4x DGX Spark: Reconstrucción de pasos de compilación faltantes para descodificación especulativa MTP

El autor implementó con éxito GLM-5.2 con descodificación especulativa MTP en un clúster de cuatro nodos NVIDIA GB10 (DGX Spark), alcanzando aproximadamente 9.4 tokens por segundo. Esta configuración utiliza vLLM con paralelismo de tensor, kernels Triton sparse-MLA portados y una poda determinista del 15% de expertos para ajustar los pesos AWQ-INT4. Un hallazgo crítico es que las instrucciones originales de construcción de la imagen Docker están incompletas, requiriendo la reconstrucción de parches faltantes para deep_gemm.py y sparse_attn_indexer.py. El autor también identificó que usar cualquier versión de vLLM distinta al commit específico fijado provoca que los pesos AWQ reales fallen durante la carga debido a errores de CUDA. Para replicar el entorno, los usuarios deben aplicar un script personalizado que incorpore kernels y funciones de enrutamiento a fallbacks sm12x. Los beneficios de rendimiento incluyen aproximadamente el doble de velocidad de las implementaciones anteriores de llama.cpp, aunque el ancho de banda entre nodos sigue siendo un cuello de botella para la escalabilidad dual-rail.

media r/LocalLLaMA · hace 53 d · 5 vistas

GLM-5.2 ahora puede ejecutarse localmente en llama.cpp y Unsloth Studio

GLM-5.2, el modelo abierto más potente hasta la fecha, ahora puede ejecutarse localmente usando llama.cpp y Unsloth Studio. El modelo cuantizado a 2 bits conserva ~82% de precisión tras reducir su tamaño de 1.51TB a 238GB, una reducción del 84%, y es compatible con configuraciones de 256GB de RAM o VRAM.

media r/LocalLLaMA · hace 56 d · 2 vistas

Manera más barata de ejecutar GLM 5.x localmente sin memoria unificada

Un usuario explora métodos rentables para ejecutar GLM 5.x localmente usando cuantización de 4 bits, como IQ4_XS, sin depender de memoria unificada. Las opciones incluyen configuraciones solo con CPU como Sapphire Rapids ES con DDR5, descarga a múltiples GPUs o modelos de tamaño similar. El usuario ejecuta un sistema con 5900X + 128GB DDR4 + 7900XT 20GB, manejando exitosamente Minimax 2.7 en Q4_K_S y Qwen 3.6 27B en IQ4_XS.

media MarkTechPost · hace 16 h · 1 vista

webAI lanza TwIL-LM, una familia de modelos de lógica formal de 1.7B y 3B para autoformalización local

webAI ha lanzado TwIL-LM, una familia de dos razonadores de lógica formal con 1.7B y 3B de parámetros diseñados para autoformalización en hardware local. Los modelos traducen inglés a lógica de primer orden y verifican la validez de las conclusiones, con la variante de 3B logrando un puntaje macro gate de 0.4218 en tareas de lógica formal dentro del dominio.