Los autores proponen una arquitectura neuronal end-to-end y completamente diferenciable diseñada específicamente para la alineación de fonemas, con el fin de abordar la estancación en este campo en comparación con los avances en ASR. El modelo cuenta con un codificador con dos ramas complementarias dedicadas a la verificación de identidad del fonema y la detección de límites. Un decodificador implementado como un módulo entrenable basado en programación dinámica suave diferenciable produce las decisiones finales de alineación. Todo el sistema se optimiza utilizando una pérdida contrastiva novedosa que fomenta una separación clara entre las regiones de fonemas de estado estable y los límites de transición. Los resultados experimentales muestran que el enfoque supera a los métodos actuales de vanguardia en conjuntos de datos de referencia anotados manualmente en inglés. Además, el modelo demuestra fuertes capacidades de generalización a nivel de palabra y un rendimiento efectivo en idiomas no vistos.
Alineación forzada neuronal completamente diferenciable mediante programación dinámica suave
Traducido del English → Español