Pesquisadores introduzem o FormalRx, uma estrutura abrangente de avaliação diagnóstica projetada para transformar a avaliação da autoformalização de veredictos binários opacos em feedback acionável. O sistema utiliza a Taxonomia de Erros SCI para decompor erros em 28 categorias distintas e fornece capacidades para veredictos de alinhamento, categorização de erros, localização e correção.

  • O FormalRx inclui um modelo diagnóstico, FormalRx-8B, treinado em 56.287 pares NL-FL com anotações detalhadas.
  • A estrutura lança o FormalRx-Test como o primeiro benchmark diagnóstico fino para autoformalização.
  • O FormalRx-8B alcança pontuações F1 de 0.88 para veredictos e 0.71 para categorização, juntamente com acurácias de 0.75 para localização e 0.73 para correção.
  • O modelo supera substancialmente tanto LLMs de propósito geral quanto baselines especializadas nessas tarefas diagnósticas.

Ao conectar a avaliação com insights acionáveis, o FormalRx permite o diagnóstico sistemático e a melhoria de sistemas de autoformalização.