著者はObject Aligner (OA)を紹介しています。これは、2つのJSONオブジェクト間の類似度を構造的に再帰的に整列させることで決定論的にスコアリングするオープンソースのPythonライブラリです。このツールは、順序なしコレクションにはハンガリアンアルゴリズムを、順序ありコレクションにはシーケンス整列を使用し、スキーマ注釈に基づいて部分的な評価を行うことで、完全一致やテキストベースの類似性の限界に対処します。

  • OAは「参照整列」を通じてグラフやハイパーグラフのような複雑な構造化データを処理し、識別子間の双射を推測することで、ラベル付けの変更に対してスコアが不変になるようにします。
  • このライブラリはWeisfeiler-Leman色細分化を用いてグラフ同型性を近似し、追加コストなしで不一致に対するランク付き修復提案を出力します。
  • GEPAプロンプトオプティマイザ内の報酬として使用する場合、Object Alignerはテストされたすべてのデータセットで改善をもたらすか、中立を保ちます。

著者はこれが重要であると考えています。なぜなら、これは高価または不透明なLLMジャッジに頼らず、情報抽出やエージェント型プランニングなどのタスクにおいてLLM出力を評価するための決定論的でスキーマ設定可能な方法を提供するからです。