为了提高从大型语言模型生成结构化输出的可靠性，提出了一种方法，在重试期间将验证错误和模型的先前输出反馈回提示词。这种方法将过程从重新滚动随机响应转变为通过编辑前一次尝试来自我纠正特定错误。

  • 该技术涉及捕获验证错误并将包含格式化错误和序列化先前响应的消息附加到下一个提示词中。
  • 错误必须以模型可理解的方式描述，例如指定字段需要整数但收到了字符串。
  • 包括模型的先前输出，以便它可以编辑特定的不正确部分，而不是重新生成整个响应。
  • 权衡包括因额外调用而增加的延迟以及失败时更长的提示词，这需要限制尝试次数。
  • 仅当无效输出足够可解析以反馈给模型时，此方法才有效。

这种策略通过利用模型纠正自身错误的能力，而不是依赖随机重试，帮助用户实现更可靠的结构化输出。