Пользователь Reddit делится размышлениями о значительном прогрессе в области локальных больших языковых моделей, вспоминая свой опыт работы с моделью Bloom от BigScience. Он помнит, как покупал Optane-накопители общим объемом 768GB для запуска полной модели с использованием файла подкачки, что занимало около 20 минут на генерацию одного токена.
В посте приводится ссылка на чекпоинт BLOOMZ-P3 в Hugging Face как ориентир для этих ранних моделей.
Автор выражает желание вернуться к этим старым моделям, чтобы оценить достижения в области локального вывода.