L'auteur soutient que la communauté open-source devrait prioriser la construction d'un immense jeu de données de pré-entraînement de haute qualité plutôt que de tenter de coordonner l'entraînement décentralisé des LLM sur des GPU domestiques. Ce changement est présenté comme une réponse plus pratique et immédiate aux récentes interdictions gouvernementales sur les modèles frontier commerciaux et à la rareté des publications open-weight de petite à moyenne taille.
- L'auteur rejette la faisabilité de l'entraînement distribué sur du matériel grand public à court terme, citant le besoin de recherches primaires sur des algorithmes pour les réseaux à haute latence.
- Une solution proposée implique la création de clients similaires aux téléchargeurs BitTorrent pour extraire, nettoyer et héberger des données depuis internet.
- L'objectif est une base de données mondiale contenant des billions de tokens, ouvertement disponible et hébergée sur des ordinateurs individuels.
L'existence d'un tel jeu de données servirait de déclaration significative contre les grandes entreprises qui accaparent les données et la VRAM tout en accélérant simultanément les futurs efforts d'entraînement distribué.