这篇文章提出了一个关于较小的开源权重模型(2B–7B)在本地部署中的实用价值的问题,询问它们与更大的模型相比是否足以满足个人工作流的需求。

它特别要求当前在本地运行模型的用户分享他们关于以下方面的经验:

  • 他们使用的具体模型和硬件配置。
  • 小型模型表现出乎意料地好的任务。
  • 现实世界的设置,而不是基准测试数据。

作者强调希望看到实际的、现实世界的使用示例,而不是理论性能指标。