저자는 오픈소스 커뮤니티가 가정용 GPU에서 분산 LLM 학습을 조정하려는 시도보다 대규모 고품질 사전 학습 데이터셋 구축에 우선순위를 두어야 한다고 주장합니다. 이러한 전환은 최근 상업적 프론티어 모델에 대한 정부 금지 조치와 소규모~중규모 오픈 웨이트 릴리스의 부족에 대한 더 실용적이고 즉각적인 대응으로 제시됩니다.
- 저자는 소비자 하드웨어에서의 분산 학습이 단기적으로 실현 가능하지 않다고 여겨지며, 높은 지연 시간 네트워크를 위한 알고리즘에 대한 기초 연구가 필요하다고 지적합니다.
- 제안된 해결책에는 인터넷에서 데이터를 스크래핑, 정리 및 호스팅하기 위해 BitTorrent 다운로드 클라이언트와 유사한 클라이언트를 만드는 것이 포함됩니다.
- 목표는 수조 개의 토큰을 포함하는 글로벌 데이터베이스를 구축하고 이를 개인 컴퓨터에 공개적으로 호스팅하는 것입니다.
이러한 데이터셋의 존재는 데이터와 VRAM을 독점하는 대형 기업들에 대한 강력한 메시지를 전달하며, 동시에 향후 분산 학습 노력을 가속화할 것입니다.