Pesquisadores desenvolveram um framework de aprendizado de currículo condicionado ao tom para seis línguas bantu meridionais para abordar as altas taxas de erro de palavra em zero-shot (WER) dos modelos ASR fundamentais atuais. A abordagem combina pontuação híbrida de dificuldade, adaptadores com gateamento impulsionados por estatísticas tonais e treinamento de currículo em estágios em um corpus comunitário.

  • W2V-BERT com condicionamento ao tom alcançou uma WER média de 28,41% nos conjuntos de dados e 23,79% na transferência para xitsonga.
  • W2V-BERT superou o Whisper em 3 a 4 pontos de WER nas línguas nguni, enquanto o Whisper teve melhor desempenho nas línguas sotho-tswana.
  • Nenhum modelo único foi adequado para todas as seis línguas, indicando que a implantação deve emparelhar a seleção do modelo por língua com validação através de corpus.

O estudo destaca interações claras entre arquitetura e língua, sugerindo que uma implantação eficaz requer selecionar modelos específicos para cada língua em vez de depender de uma solução universal.