一位Reddit用户通过回顾自己使用BigScience的Bloom的经历,反思了本地大型语言模型取得的显著进展。他记得曾购买768GB Optane驱动器以配合交换空间运行完整模型,生成单个token大约需要20分钟。

该帖子链接到Hugging Face上的BLOOMZ-P3检查点,作为这些早期模型的参考基准。

作者表示希望重新审视这些旧模型,以欣赏本地推理能力所取得的进步。