Sebuah LLM telah dikonfigurasi untuk menghasilkan kode dalam bahasa Hyperlua, di mana setiap pemanggilan fungsi diverifikasi terhadap satu set fungsi yang sudah ada selama eksekusi. Jika model mencoba memanggil fungsi yang tidak ada, sistem secara otomatis mencoba menghasilkan ulang hingga dua kali tambahan sebelum mengembalikan error.

  • Pendekatan ini terintegrasi ke dalam "endpoint generate code" sebagai proses 10ms, membuat pencegahan halusinasi sepenuhnya otomatis.
  • Loop verifikasi ini menghasilkan peningkatan skor evaluasi LLM hampir 10 poin persentase.
  • Meskipun model tidak dapat halusinasi fungsi atau konsep yang tidak ada, ia masih dapat halusinasi niat, seperti querying database yang salah.

Metode ini memastikan bahwa kode yang dihasilkan secara sintaksis valid oleh konstruksi, secara signifikan meningkatkan keandalan dalam tugas generasi kode otomatis.