一位Reddit用户概述了选择本地运行大型语言模型而非依赖商业API的几种动机。

  • 用户可以在任何数据集上微调任何模型。
  • 可以使用推测解码（speculative decoding）等技术来最大化每秒令牌数。
  • 本地运行确保数据不会与Anthropic或OpenAI等提供商共享。
  • 硬件可重复用于视觉、文本和语音任务，允许免费使用任意模型组合。
  • 用户可以策划数据集而无需担心API成本。

该帖子强调了与本地推理相关的控制、隐私和成本效益优势。