Los investigadores presentan FormalRx, un marco integral de evaluación diagnóstica diseñado para transformar la evaluación de la autoformalización de veredictos binarios opacos a retroalimentación accionable. El sistema utiliza la Taxonomía de Errores SCI para descomponer los errores en 28 categorías distintas y proporciona capacidades para veredictos de alineación, categorización de errores, localización y corrección.

  • FormalRx incluye un modelo diagnóstico, FormalRx-8B, entrenado con 56.287 pares NL-FL con anotaciones detalladas.
  • El marco lanza FormalRx-Test como el primer benchmark diagnóstico fino para la autoformalización.
  • FormalRx-8B alcanza puntuaciones F1 de 0.88 para veredictos y 0.71 para categorización, junto con precisiones de 0.75 para localización y 0.73 para corrección.
  • El modelo supera sustancialmente tanto a los LLM de propósito general como a las líneas base especializadas en estas tareas diagnósticas.

Al conectar la evaluación con información accionable, FormalRx permite el diagnóstico sistemático y la mejora de los sistemas de autoformalización.