본 논문은 멀티모달 대규모 언어 모델에서 간과되어 온 언어 획득 구조를 해결하기 위해 잠재 공간에 순서 기하학적 사전 확률을 부과하는 프로토타입 기반 정규화기인 잠재 순서 프로토타입 정렬(LOPA)을 소개합니다. 동결된 Whisper 인코더로부터 적응적 표현 수확을 위한 시맨틱-앵커드 레이어 라우팅(SALR)과 결합하여, 이 프레임워크는 RMSE 0.361을 달성합니다.

  • LOPA는 잠재 공간에 순서 기하학적 사전 확률을 직접 부과합니다.
  • SALR은 동결된 Whisper 인코더로부터 다중 깊이 표현을 적응적으로 수확합니다.
  • 이 접근 방식은 LLM 기반 파인튜닝 없이도 수십억 파라미터 시스템을 능가하는 성능을 보입니다.
  • 분석 결과, SALR과 LOPA가 해석 가능하고 기준에 부합하는 선호도를 제공함이 확인되었습니다.

본 연구는 구어체 언어 평가를 위한 현재 확장 중심 모델에 대한 효율적이고 순서 인식형 모델링 대안을 제시합니다.