Un usuario de Reddit busca consejos sobre el método más efectivo para probar el rendimiento de modelos en varios niveles de cuantización antes de adquirir nuevo hardware.
- El usuario tiene la intención de comprar múltiples GPUs y específicamente quiere hacer benchmark de modelos como GLM-5.2.
- La solución propuesta implica alquilar GPUs RTX 6000 a través de la plataforma Vast.ai para realizar estas pruebas.