Pesquisadores apresentam um método genérico baseado em gradiente para encontrar limites temporais de palavras em áudio para qualquer modelo de Reconhecimento Automático de Fala (ASR) diferenciável, incluindo aqueles que não fornecem alinhamento nativamente, como codificadores-decodificadores baseados em atenção e LLMs de fala. A abordagem calcula o gradiente da probabilidade logarítmica de cada token forçado pelo professor em relação à entrada, reduzindo-o para saliência por quadro e decodifica os limites das palavras por meio de programação dinâmica.
- O método não requer treinamento, modificação do modelo ou cabeças de alinhamento adicionais.
- Ele alinha na grade de entrada mais fina em vez da grade de quadros do codificador mais grossa usada pelos modelos CTC ou transdutor.
- A avaliação em dezesseis modelos de quatro famílias mostra que ele produz alinhamentos utilizáveis para cada modelo testado.
- O desempenho é geralmente ligeiramente inferior aos alinhadores nativos fortes, mas superior onde o alinhamento nativo é fraco, como em modelos de streaming.
A principal desvantagem identificada é o custo computacional de realizar uma passagem inversa por token.