Object Aligner: LLM 프롬프트 최적화를 위한 구성 가능한 JSON 스키마 유사도 점수

저자들은 Object Aligner (OA)를 소개합니다. 이는 두 JSON 객체 간의 구조를 재귀적으로 정렬하여 유사도를 결정론적으로 평가하는 오픈소스 Python 라이브러리입니다. 이 도구는 순서가 없는 컬렉션에는 헝가리안 알고리즘을, 순서가 있는 컬렉션에는 시퀀스 정렬을 사용하고 스키마 주석에 기반하여 부분 점수를 부여함으로써 정확한 일치와 텍스트 기반 유사성의 한계를 극복합니다.

• OA는 "참조 정렬"을 통해 그래프나 하이퍼그래프와 같은 복잡한 구조화된 데이터를 처리하며, 식별자 간의 일대일 대응을 추론하여 재라벨링에 대해 점수가 불변이 되도록 합니다.
• 이 라이브러리는 Weisfeiler-Leman 색상 세분화를 사용하여 그래프 동형성을 근사하고, 추가 비용 없이 불일치에 대한 순위 기반 수리 제안을 출력합니다.
• GEPA 프롬프트 최적화기 내부의 보상 함수로 사용될 때, Object Aligner는 테스트된 모든 데이터셋에서 성능을 향상시키거나 중립적인 상태를 유지합니다.

저자들은 이것이 중요합니다. 왜냐하면 이는 비싸거나 불투명한 LLM 심사관 의존 없이 정보 추출 및 에이전트 계획과 같은 작업에서 LLM 출력을 평가하기 위한 결정론적이고 스키마 구성 가능한 방법을 제공하기 때문입니다.