Para melhorar a confiabilidade ao gerar saída estruturada de grandes modelos de linguagem, propõe-se um método que alimenta os erros de validação e a saída anterior do modelo de volta no prompt durante as tentativas. Esta abordagem transforma o processo de rolar respostas aleatórias novamente em autocorreção de erros específicos editando a tentativa anterior.
- A técnica envolve capturar erros de validação e anexar uma mensagem contendo o erro formatado e a resposta anterior serializada ao próximo prompt.
- Os erros devem ser descritos em termos compreensíveis para o modelo, como especificar que um campo requer um inteiro mas recebeu uma string.
- A saída anterior do modelo é incluída para que ela possa editar as partes incorretas específicas em vez de regenerar toda a resposta.
- As compensações incluem latência aumentada devido a chamadas extras e prompts mais longos em falhas, exigindo um limite nas tentativas.
- Este método só funciona quando a saída inválida é analisável o suficiente para ser alimentada de volta ao modelo.
Esta estratégia ajuda os usuários a alcançar saídas estruturadas mais confiáveis, aproveitando a capacidade do modelo de corrigir seus próprios erros em vez de depender de tentativas aleatórias.