Авторы представляют Object Aligner (OA), библиотеку с открытым исходным кодом на Python, которая детерминированно оценивает сходство двух JSON-объектов путем рекурсивного выравнивания их структур. Инструмент устраняет ограничения точных совпадений и текстового сходства, используя венгерский алгоритм для неупорядоченных коллекций и выравнивание последовательностей для упорядоченных, присуждая частичные баллы на основе аннотаций схемы.
- OA обрабатывает сложные структурированные данные, такие как графы или гиперграфы, через «референтное выравнивание», которое выводит биекцию между идентификаторами, чтобы сделать оценки инвариантными к переименованию.
- Библиотека аппроксимирует изоморфизм графов с помощью уточнения цветов Вейсфелера-Лемана и без дополнительных затрат генерирует ранжированные предложения по исправлению несовпадений.
- При использовании в качестве вознаграждения внутри оптимизатора промптов GEPA Object Aligner помогает или остается нейтральным во всех протестированных наборах данных.
Авторы считают это важным, поскольку метод предоставляет детерминированный, настраиваемый по схеме подход к оценке выходов LLM в задачах, таких как извлечение информации и агентное планирование, без reliance на дорогие или непрозрачные LLM-судьи.