Исследователи предлагают практический рецепт обучения с подкреплением с проверяемыми наградами для эффективной по данным адаптации аудио-языковых моделей к автоматическому распознаванию речи с переключением кодов (ASR). Метод использует групповую относительную оптимизацию политики, объединяя награду за ошибку с наградой за верность скрипту, которая штрафует за неправильные системы письма.

  • Обучение только на TTS речи с переключением кодов с использованием Qwen2-Audio по 10 парам языков.
  • RLVR с 10% данных соответствует обучению LoRA с учителем на полном наборе данных.
  • Награда за ошибку устраняет ошибки перевода, а награда за верность скрипту снижает загрязнение скрипта.
  • Приросты передаются в нулевом режиме на корпус человеческой записи переключения кодов.

Подход показывает наибольший прирост для типологически далеких пар и предоставляет воспроизводимую тестовую среду для адаптации моделей к речи с переключением кодов без необходимости больших размеченных наборов данных.