DeltaMerge-LowRes adapta codificadores multilíngues a novos idiomas e tarefas treinando deltas de idioma e tarefa separadamente que são recombinados no espaço de pesos. O método aprende um delta de idioma a partir de texto monolíngue não rotulado e um delta de tarefa a partir de dados em inglês rotulados, compondo-os por meio de quatro regras, incluindo uma abordagem transversal TIES novel.

  • A abordagem transversal TIES melhora o chrF de sumarização em +4 a +7 em três dos quatro idiomas africanos em comparação com linhas de base apenas de tarefa.
  • O método aumenta a F1 de QA em +2.32 e a EM em +2.91 em todas as células avaliadas.
  • A fusão consciente da esparsidade reduz o ECE de classificação em 36% enquanto mantém a paridade macro-F1.

A regra de composição altera materialmente o que o modelo fundido preserva, suprime e calibra, com todos os rastros JSON e um livro de reivindicações lançados.