대규모 언어 모델에서 구조화된 출력을 생성할 때 신뢰성을 향상시키기 위해, 검증 오류와 모델의 이전 출력을 재시도 시 프롬프트에 피드백하는 방법이 제안되었습니다. 이 접근 방식은 무작위 응답을 다시 생성하는 과정을 이전 시도를 편집하여 특정 오류를 자체 수정하는 방식으로 전환합니다.
- 이 기법에는 검증 오류를 포착하고, 서식 지정된 오류와 직렬화된 이전 응답을 포함하는 메시지를 다음 프롬프트에 추가하는 것이 포함됩니다.
- 오류는 필드가 정수를 필요로 하는데 문자열이 전달되었다는 식으로 모델이 이해할 수 있는 방식으로 설명해야 합니다.
- 모델의 이전 출력을 포함함으로써 전체 응답을 재생성하는 대신 특정 잘못된 부분을 편집할 수 있습니다.
- 트레이드오프로는 추가 호출으로 인한 지연 시간 증가와 실패 시 긴 프롬프트가 있으며, 시도 횟수 제한이 필요합니다.
- 이 방법은 유효하지 않은 출력이 모델에 피드백될 만큼 파싱 가능할 때만 작동합니다.
이 전략은 무작위 재시도에 의존하는 대신 모델의 자체 오류 수정 능력을 활용하여 사용자에게 더 신뢰할 수 있는 구조화된 출력을 달성하는 데 도움이 됩니다.