Los autores presentan Object Aligner (OA), una biblioteca Python de código abierto que puntúa determinísticamente la similitud entre dos objetos JSON alineando recursivamente sus estructuras. La herramienta aborda las limitaciones de las coincidencias exactas y la similitud basada en texto utilizando el algoritmo húngaro para colecciones no ordenadas y alineación de secuencias para las ordenadas, otorgando crédito parcial basado en anotaciones del esquema.

  • OA maneja datos estructurados complejos como grafos o hipergrafos mediante "alineación referencial", que infiere una biyección entre identificadores para hacer las puntuaciones invariantes a la reetiquetado.
  • La biblioteca aproxima el isomorfismo de grafos utilizando el refinamiento de colores de Weisfeiler-Leman y emite sugerencias de reparación clasificadas para las discrepancias sin costo adicional.
  • Cuando se usa como recompensa dentro del optimizador de prompts GEPA, Object Aligner ayuda o permanece neutral en todos los conjuntos de datos probados.

Los autores consideran esto importante porque proporciona un método determinista y configurable por esquema para evaluar las salidas de LLM en tareas como la extracción de información y la planificación agéntica sin depender de jueces LLM costosos u opacos.