COALA 프레임워크는 대조적 정규화를 통해 ASR 문맥 바이어싱을 강화합니다

연구자들은 복잡한 다중 엔티티 시나리오에서 자동 음성 인식을 위해 음성 증강 언어 모델(SLMs)을 강화하도록 설계된 견고한 프레임워크인 COALA를 제안합니다. 이 시스템은 오디오 세그먼트와 후보 엔티티 간의 일치 강도를 정량화하기 위해 SLM 잠재 표현을 판별 공간으로 매핑하여 컨텍스트 윈도우 제한을 해결합니다.

• 대규모 바이어싱 목록에서 관련 대상 엔티티를 식별하기 위해 SLM 잠재 표현을 전용 판별 공간으로 매핑합니다.
• 여러 희귀어가 공존하는 다중 대상 발화를 처리할 때 기존 연구에서 발생했던 훈련 붕괴를 해결합니다.
• 대조적 정규화기 및 바이어싱 점수 추정 기술을 활용합니다.
• LibriSpeech 벤치마크에서 다양한 바이어싱 목록 크기에 걸쳐 우수한 문맥 바이어싱 성능을 입증합니다.