Consulta de la comunidad sobre el uso de cuantización Q1/Q2 para modelos de lenguaje grandes
Un usuario de Reddit pregunta a la comunidad sobre sus experiencias utilizando niveles de cuantización Q1 o Q2 para modelos de lenguaje grandes que van de 100 a 250 mil millones de parámetros. La publicación enumera modelos específicos en este rango de tamaño, como DeepSeek-V4-Flash y Qwen3-235B-A22B, y los contrasta con modelos más pequeños donde la cuantización baja generalmente se desaconseja.