GitHub Copilot 允许其聊天窗口使用自带密钥(BYOK),但明确禁止将这些自定义模型用于内联代码自动补全。VS Code 团队的官方理由是声称缺乏合格的 Fill-in-the-Middle (FIM) 模型,作者认为这一说法是不正确的推卸责任。

  • GitHub Copilot 原生支持聊天的 BYOK,但阻止其用于内联补全。
  • VS Code 团队以缺乏合格的 FIM 模型为由解释此限制。
  • 名为 GitHub Copilot LLM Gateway 的社区扩展通过启用对本地和自定义模型的真正内联补全支持来填补这一空白。
  • 该扩展是开源的,目前作为变通方案运行,尽管其处理响应的效果不如原生集成完美。

作者认为这很重要,因为它为希望拥有本地 LLM 自由和对开发环境进行开源控制的用户提供了解决方案,证明了尽管微软有限制,但完全有可能实现此功能。