あるRedditユーザーは、BigScienceのBloomとの経験を通じて、ローカル大規模言語モデルにおける顕著な進歩について振り返っている。彼らはスワップを使用してフルモデルを実行するために768GB Optaneドライブを購入し、単一トークンの生成に約20分を要したことを覚えている。

投稿では、これらの初期モデルの参照点としてHugging Face上のBLOOMZ-P3チェックポイントへのリンクが掲載されている。

著者は、ローカル推論能力における進歩を再評価するために、これらの古いモデルを改めて取り上げたいと考えている。