Usuário do Reddit relembra as dificuldades iniciais ao executar o modelo Bloom da BigScience

Um usuário do Reddit reflete sobre o progresso significativo nos modelos de linguagem grandes locais, lembrando sua experiência com o Bloom da BigScience. Ele lembra de ter comprado drives Optane de 768GB para executar o modelo completo com swap, o que levava aproximadamente 20 minutos para gerar um único token.

O post faz link para o checkpoint BLOOMZ-P3 no Hugging Face como ponto de referência para esses modelos iniciais.

O autor expressa o desejo de revisar esses modelos mais antigos para apreciar os avanços feitos nas capacidades de inferência local.