Un utilisateur de Reddit revient sur les progrès significatifs réalisés par les grands modèles de langage locaux en évoquant son expérience avec Bloom de BigScience. Il se souvient avoir acheté des disques Optane de 768 Go pour exécuter le modèle complet avec un espace d'échange, ce qui prenait environ 20 minutes pour générer un seul jeton.
La publication lie au checkpoint BLOOMZ-P3 sur Hugging Face comme point de référence pour ces premiers modèles.
L'auteur exprime le désir de revenir sur ces anciens modèles pour apprécier les avancées réalisées dans les capacités d'inférence locale.