Pesquisadores propõem o SPAM, um método que aproveita modelos de fala auto-supervisionados (S3Ms) para resolver simultaneamente a segmentação e o reconhecimento de fonemas direcionando a estrutura fonética latente. A abordagem mapeia cada quadro de representação S3M para um vetor de ativações de características fonológicas, como sonoridade e nasalidade.
- O SPAM utiliza cabeçotes de predicação leves e livres de descida de gradiente para as tarefas de reconhecimento e segmentação.
- O método requer menos de um minuto de transcrições fonéticas para o treinamento.
- Ele generaliza para fonemas não vistos durante o treinamento e alcança um desempenho sólido em diversos conjuntos de dados.