作者解决了基于模板的对比合成中的分辨率不匹配问题(Resolution Mismatch Problem),其中候选项通常仅在少数实体槽位上有所不同,而序列级优化将监督信号分散到共享模板上。他们提出了 KARMA,一种在领域知识图谱上枚举受模式约束的路径,并将其 verbalize 为按槽位对齐的对比候选项的方法。

  • 该系统采用 Slot-Parallel Alignment (SPA) 应用解耦的槽位级目标,将偏好监督专门路由到判别性实体槽位。
  • 包含感知槽位的掩码注意力作为可选的打包评估实现。
  • KARMA 在生物医学、计算机科学和化学基准测试中优于基础 LLM 和同数据 SFT 基线。
  • 该方法与现有的序列级和词元级偏好方法相比具有优势。

KARMA 通过确保监督信号指向区分候选项的特定实体,提高了对比合成的有效性。