Предложение единого открытого датасета вместо децентрализованного обучения LLM
Автор утверждает, что сообщество с открытым исходным кодом должно приоритизировать создание массивного высококачественного датасета для предварительного обучения, а не пытаться координировать децентрализованное обучение LLM на домашних GPU. Этот сдвиг представлен как более практичный и немедленный ответ на недавние правительственные запреты на коммерческие фронтьерные модели и нехватку релизов открытых весов малого и среднего размера.