Un usuario de Reddit reflexiona sobre el progreso significativo en los modelos de lenguaje grandes locales recordando su experiencia con Bloom de BigScience. Recuerda haber comprado unidades Optane de 768GB para ejecutar el modelo completo con swap, lo que tardaba aproximadamente 20 minutos en generar un solo token.
El enlace del post al checkpoint BLOOMZ-P3 en Hugging Face sirve como punto de referencia para estos primeros modelos.
El autor expresa el deseo de revisar estos modelos antiguos para apreciar los avances realizados en las capacidades de inferencia local.