Les auteurs abordent le problème de mismatch de résolution dans la synthèse contrastive basée sur des modèles, où les candidats diffèrent souvent par quelques emplacements d'entités seulement, tandis que l'optimisation au niveau de la séquence répartit la supervision sur des modèles partagés. Ils proposent KARMA, une méthode qui énumère des chemins contraints par le schéma sur des graphes de connaissances du domaine et les verbalise en candidats contrastifs alignés par emplacement.
- Le système emploie Slot-Parallel Alignment (SPA) pour appliquer un objectif au niveau des emplacements découplé, acheminant la supervision de préférence spécifiquement vers les emplacements d'entités discriminants.
- Une attention masquée sensible aux emplacements est incluse comme une implémentation facultative d'évaluation groupée.
- KARMA surpasse les modèles LLM de base et les références SFT sur des données identiques à travers les benchmarks biomédicaux, en informatique et en chimie.
- L'approche se compare favorablement aux méthodes de préférence existantes au niveau des séquences et des tokens.
KARMA améliore l'efficacité de la synthèse contrastive en s'assurant que la supervision est dirigée vers les entités spécifiques qui distinguent les candidats.