Pesquisadores propõem um framework que utiliza modelos de linguagem grandes conscientes de áudio (ALLMs) como juízes de feedback fino para verificar a presença de eventos-alvo e relações temporais no áudio gerado. Esta abordagem aborda a lacuna onde os modelos existentes de texto para áudio frequentemente falham em seguir instruções envolvendo múltiplos eventos sonoros e sua ordem.
- O método constrói pares de preferência para otimização direta de preferência usando feedback do ALLM, o qual foi validado em benchmarks e através de verificação humana.
- Um novo benchmark narrativo chamado S3Bench é introduzido para avaliar o seguimento de instruções temporais de múltiplos eventos.
- Experimentos demonstram melhorias na completude do evento, ordenação temporal e precisão conjunta de seguimento de instruções em benchmarks existentes e S3Bench enquanto mantêm a qualidade do áudio.
Este trabalho fornece um mecanismo para uma correção melhor ao nível de instrução na geração de texto para áudio, aproveitando o feedback fino em vez de depender apenas de métricas de similaridade global.