تم تكوين LLM لتوليد الكود بلغة Hyperlua، حيث يتم التحقق من كل استدعاء وظيفة ضد مجموعة معروفة من الوظائف الموجودة أثناء التنفيذ. إذا حاول النموذج استدعاء وظيفة غير موجودة، يعيد النظام محاولة التوليد تلقائيًا حتى مرتين إضافيتين قبل إرجاع خطأ.
- يندمج النهج في "نقاط نهاية توليد الكود" كعملية مدتها 10 مللي ثانية، مما يجعل منع الهلوسات تلقائيًا بالكامل.
- أدى هذا الحلقة التحقق إلى زيادة في درجة تقييم LLM بنسبة تقارب 10 نقاط مئوية.
- بينما لا يمكن للنموذج أن يهلوس بوظائف أو مفاهيم غير موجودة، لا يزال بإمكانه هلوسة النوايا، مثل استعلام قاعدة البيانات الخاطئة.
تضمن هذه الطريقة أن الكود المولد صحيح نحويًا بالبناء، مما يحسن بشكل كبير الموثوقية في مهام توليد الكود الآلي.