Penulis berargumen bahwa komunitas open-source harus memprioritaskan pembangunan dataset pra-pelatihan raksasa berkualitas tinggi daripada mencoba mengkoordinasikan pelatihan LLM terdesentralisasi di GPU rumah. Pergeseran ini disajikan sebagai respons yang lebih praktis dan segera terhadap larangan pemerintah baru-baru ini terhadap model frontier komersial dan kelangkaan rilis open-weight skala kecil hingga menengah.

  • Penulis menolak kelayakan pelatihan terdistribusi pada perangkat keras konsumen dalam waktu dekat, dengan mengutip perlunya penelitian utama tentang algoritma untuk jaringan latensi tinggi.
  • Solusi yang diusulkan melibatkan pembuatan klien mirip downloader BitTorrent untuk mengambil, membersihkan, dan menghosting data dari internet.
  • Tujuannya adalah basis data global berisi triliunan token yang tersedia secara terbuka dan dihosting di komputer individu.

Keberadaan dataset semacam itu akan menjadi pernyataan signifikan melawan korporasi besar yang menimbun data dan VRAM sambil secara bersamaan mempercepat upaya pelatihan terdistribusi di masa depan.