Los investigadores desarrollaron un marco de aprendizaje por currículo condicionado al tono para seis lenguas bantu meridionales para abordar las altas tasas de error de palabra en cero-shot (WER) de los modelos ASR base actuales. El enfoque combina puntuación híbrida de dificultad, adaptadores con compuerta impulsados por estadísticas tonales y entrenamiento por currículo escalonado en un corpus comunitario.

  • W2V-BERT con condicionamiento al tono logró un WER promedio del 28.41% en los conjuntos de datos y del 23.79% en la transferencia a xitsonga.
  • W2V-BERT superó a Whisper por 3 a 4 puntos de WER en las lenguas nguni, mientras que Whisper tuvo un mejor desempeño en las lenguas sotho-tswana.
  • Ningún modelo único fue adecuado para las seis lenguas, lo que indica que el despliegue debe emparejar la selección del modelo por lengua con validación a través de corpus.

El estudio destaca claras interacciones entre arquitectura y lengua, sugiriendo que un despliegue efectivo requiere seleccionar modelos específicos para cada lengua en lugar de depender de una solución universal.