Un usuario comparte una configuración de Docker para ejecutar GLM-5.2-FP8 en hardware HGX-H200 utilizando SGLang. La configuración logra una longitud de contexto de 262k y 70 tokens por segundo con paralelismo tensorial de 8, usando una fracción de memoria de 0.83. El usuario señala que las recetas oficiales de vLLM no funcionan en H200 debido a limitaciones de cuantización FP8 del caché KV en la arquitectura DSV3.
media
r/LocalLLaMA
·
hace 55 d
·
open_models
Configuración de implementación Docker SGLang GLM-5.2-FP8 HGX-H200
Traducido del English → Español
Artículos relacionados
media
r/LocalLLaMA
·
hace 44 d
·
2 vistas
GLM 5.2 Q1_S vs Qwen 27B Q8: Una comparación de LLM local
Una comparación amateur en hardware de consumo demuestra que el GLM-5.2 altamente cuantizado (Q1_S) supera al Qwen 3.6 27B de mayor precisión (Q8) en una tarea de codificación compleja, a pesar de velocidades de inferencia significativamente más lentas.
media
r/LocalLLaMA
·
hace 44 d
·
33 vistas
Cuantización GLM-5.2 de alta calidad en 4x DGX Spark - Guía, Resultados y Comparativas
El autor demuestra la ejecución del modelo GLM-5.2 NVFP4 en cuatro nodos NVIDIA GB10 DGX Spark con una ventana de contexto de 128K, logrando un rendimiento de servicio utilizable mediante una optimización agresiva del sistema.
media
AI News (smol.ai)
·
hace 51 d
GLM-5.2 Destaca con un Avance y el Progreso de los Modelos Abiertos
El GLM-5.2 de Zhipu se consolidó como el modelo de peso abierto líder, elogiado por su rendimiento cercano a la vanguardia en el uso diario, con mejoras en tareas de codificación y reducción del costo de inferencia de 1M de tokens mediante IndexShare. Superó a otros modelos abiertos en benchmarks de trabajo de conocimiento agéntico, alcanzando 1266 Elo en la prueba AA-Briefcase de Artificial Analysis, aunque solo el 3% de las tareas fueron completamente satisfechas por los mejores modelos, lo que indica desafíos persistentes en el rendimiento de agentes a largo plazo en el mundo real.
media
r/LocalLLaMA
·
hace 52 d
·
4 vistas
GLM-5.2 supera a Gemini y GPT-5.4 en programación, pero es ineficiente
GLM-5.2 supera a GPT-5.4 y a toda la línea de Gemini en rendimiento de codificación en el benchmark DeepSWE. Sin embargo, requiere significativamente más tokens de salida, lo que lo hace sustancialmente menos eficiente en términos de costo por tarea en comparación con modelos como GPT-5.5 y Claude Opus 4.8.
media
r/LocalLLaMA
·
hace 53 d
·
1 vista
GLM 5.2 alcanza el 98% de inteligencia máxima con menos de la mitad de tokens
GLM 5.2 demuestra el 98% de su inteligencia máxima en tareas de codificación utilizando menos de la mitad de su presupuesto total de tokens, según un informe técnico de z_ai. La eficiencia de razonamiento del modelo ha mejorado significativamente, con un aumento en el uso de tokens de 16.7k a 36.7k entre GLM 5.1 y GLM 5.2, aunque las configuraciones de alto nivel pueden sobrecargar el rendimiento del hardware local.