يقدم الباحثون FormalRx، وهو إطار تقييم تشخيصي شامل مصمم لتحويل تقييم التحويل الآلي إلى صيغ رياضية من أحكام ثنائية غير شفافة إلى ملاحظات قابلة للتنفيذ. يستخدم النظام تصنيف أخطاء SCI لتحليل الأخطاء إلى 28 فئة مميزة ويوفر قدرات لأحكام المطابقة، وتصنيف الأخطاء، وتحديد الموقع، والتصحيح.
- يتضمن FormalRx نموذجاً تشخيصياً هو FormalRx-8B، تم تدريبه على 56,287 زوجاً من NL-FL معannotations دقيقة.
- يُصدر الإطار FormalRx-Test كأول معيار تشخيصي دقيق للتحويل الآلي إلى صيغ رياضية.
- يحقق FormalRx-8B درجات F1 تبلغ 0.88 للأحكام و0.71 للتصنيف، بالإضافة إلى دقة تبلغ 0.75 لتحديد الموقع و0.73 للتصحيح.
- يتفوق النموذج بشكل كبير على كل من نماذج LLM العامة والأسس المتخصصة في هذه المهام التشخيصية.
من خلال ربط التقييم برؤى قابلة للتنفيذ، يمكّن FormalRx من التشخيص المنهجي وتحسين أنظمة التحويل الآلي إلى صيغ رياضية.