연구자들은 질문 응답 상호작용 중 스트리밍 음성-음성 언어 모델의 자연성을 평가하도록 설계된 벤치마크인 SPEARBench를 소개했습니다.
- 이 벤치마크는 Seamless Interaction 코퍼스에서 제어된 대화 프롬프트를 구성하고 여러 모델에 대해 추론을 실행합니다.
- 응답 지연 시간, 중단, 음성 품질, ASR 강건성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 스탠스, 설명 가능한 분포 기반선을 아우르는 다차원 평가 프로토콜을 활용합니다.
- 원래의 인간 답변은 비교를 위한 참조 조건으로 사용됩니다.
결과에 따르면 현재 모델들은 높은 신호 수준 품질과 낮은 ASR 오류를 달성하고 있지만, 지연 시간, 중첩, 방언 보존, 감정 적응 및 대인 스탠스 역학 측면에서 여전히 인간의 대화 행동과 차이가 있습니다.