关于通过 API 托管随机 GGUF 和开源模型的 Reddit 讨论

一位 Reddit 用户强调了通过托管 API 访问长尾社区微调模型、角色扮演模型和小众代码模型的困难，指出虽然流行模型得到了很好的支持，但冷门模型需要自行托管或部署在 Modal、RunPod 或 Baseten 等平台上。帖子询问开发人员目前如何处理这一空白，以及在选择服务时最重要的因素是什么，例如价格、确切的模型可用性、与 OpenAI 兼容的行为、正常运行时间、隐私或硬件透明度。

讨论集中在权衡使用现有的聚合器（如 OpenRouter、Together、Fireworks 和 DeepInfra）与手动部署特定 GGUF 文件的 vLLM 或 llama.cpp 服务器之间。