O autor argumenta que a comunidade de código aberto deve priorizar a construção de um conjunto de dados massivo e de alta qualidade para pré-treinamento, em vez de tentar coordenar o treinamento descentralizado de LLMs em GPUs domésticas. Essa mudança é apresentada como uma resposta mais prática e imediata às recentes proibições governamentais de modelos frontier comerciais e à escassez de lançamentos de pesos abertos de pequeno a médio porte.
- O autor descarta a viabilidade do treinamento distribuído em hardware de consumo no curto prazo, citando a necessidade de pesquisa primária sobre algoritmos para redes de alta latência.
- Uma solução proposta envolve criar clientes semelhantes aos downloaders do BitTorrent para raspagem, limpeza e hospedagem de dados da internet.
- O objetivo é um banco de dados global contendo trilhões de tokens que esteja disponível abertamente e hospedado em computadores individuais.
A existência de tal conjunto de dados serviria como uma declaração significativa contra grandes corporações que acumulam dados e VRAM, acelerando simultaneamente os esforços futuros de treinamento distribuído.