연구자들은 자동 형식화 평가를 불투명한 이진 판정에서 실행 가능한 피드백으로 전환하도록 설계된 포괄적인 진단 평가 프레임워크인 FormalRx를 소개했습니다. 이 시스템은 SCI Error Taxonomy를 활용하여 오류를 28개의 명확한 범주로 분해하고, 정렬 판정, 오류 분류, 국소화 및 수정 기능을 제공합니다.
- FormalRx에는 56,287개의 NL-FL 쌍과 세분화된 주석을 사용하여 훈련된 진단 모델 FormalRx-8B가 포함되어 있습니다.
- 이 프레임워크는 자동 형식화를 위한 첫 번째 세분화된 진단 벤치마크인 FormalRx-Test를 출시했습니다.
- FormalRx-8B는 판정에 대해 F1 점수 0.88, 분류에 대해 0.71을 달성했으며, 국소화에 대해 정확도 0.75, 수정에 대해 정확도 0.73을 기록했습니다.
- 이 모델은 이러한 진단 작업에서 범용 LLM과 전문적인 베이스라인을 크게 능가합니다.
FormalRx는 평가를 실행 가능한 통찰력과 연결함으로써 자동 형식화 시스템의 체계적인 진단과 개선을 가능하게 합니다.