LLM은 Hyperlua 언어로 코드를 생성하도록 구성되어 있으며, 각 함수 호출은 실행 중에 기존 함수의 알려진 집합에 대해 검증됩니다. 모델이 존재하지 않는 함수를 호출하려고 하면 시스템은 오류를 반환하기 전에 최대 두 번 자동으로 생성을 재시도합니다.
- 이 접근 방식은 "코드 생성 엔드포인트"에 10ms 프로세스로 통합되어 환각 방지를 완전히 자동화합니다.
- 이 검증 루프는 LLM의 평가 점수를 거의 10퍼센트 포인트 증가시켰습니다.
- 모델이 존재하지 않는 함수나 개념을 환각할 수는 없지만 잘못된 데이터베이스를 쿼리하는 것과 같은 의도의 환각은 여전히 발생할 수 있습니다.
이 방법은 생성된 코드가 구조적으로 구문 유효함을 보장하여 자동 코드 생성 작업의 신뢰성을 크게 향상시킵니다.