DeltaMerge-LowRes 通过训练独立的语言增量和任务增量并在权重空间中重新组合它们,将多语言编码器适配到新语言和新任务。该方法从非标记的单语文本中学习语言增量,从标记的英语数据中学习任务增量,并通过四条规则进行组合,包括一种新颖的跨轴 TIES 方法。
- 与仅任务基线相比,跨轴 TIES 在四种非洲语言中的三种上使摘要 chrF 提高了 +4 到 +7。
- 该方法在所有评估单元格中将 QA F1 提高了 +2.32,将 EM 提高了 +2.91。
- 感知稀疏性的合并将分类 ECE 降低了 36%,同时保持了宏观-F1 的持平。
组合规则实质性地改变了合并模型保留、抑制和校准的内容,所有 JSON 追踪记录和声明账本均已发布。