Les chercheurs présentent FormalRx, un cadre d'évaluation diagnostique complet conçu pour transformer l'évaluation de l'auto-formalisation, passant de verdicts binaires opaques à des retours exploitables. Le système utilise la Taxonomie des erreurs SCI pour décomposer les erreurs en 28 catégories distinctes et offre des capacités de verdict d'alignement, de catégorisation des erreurs, de localisation et de correction.
- FormalRx inclut un modèle diagnostique, FormalRx-8B, entraîné sur 56 287 paires NL-FL avec des annotations fines.
- Le cadre publie FormalRx-Test comme le premier benchmark diagnostique fin pour l'auto-formalisation.
- FormalRx-8B atteint des scores F1 de 0,88 pour les verdicts et de 0,71 pour la catégorisation, ainsi que des précisions de 0,75 pour la localisation et de 0,73 pour la correction.
- Le modèle surpasse considérablement à la fois les LLM généralistes et les bases spécialisées dans ces tâches diagnostiques.
En reliant l'évaluation à des informations exploitables, FormalRx permet le diagnostic systématique et l'amélioration des systèmes d'auto-formalisation.