В статье представлен Latent Ordinal Prototype Alignment (LOPA), регуляризатор на основе прототипов, который накладывает ординальный геометрический априорный принцип на латентное пространство для устранения упущенной структуры приобретения языка в мультимодальных больших языковых моделях. В сочетании с Semantic-Anchored Layer Routing (SALR) для адаптивного извлечения представлений из замороженного энкодера Whisper, фреймворк достигает RMSE 0.361.
- LPA накладывает ординальные геометрические априорные принципы непосредственно на латентное пространство.
- SALR адаптирует извлечение многоуровневых представлений из замороженного энкодера Whisper.
- Подход конкурирует с системами с миллиардами параметров без необходимости дообучения на основе LLM.
- Анализ показывает, что SALR и LOPA обеспечивают интерпретируемые предпочтения, согласованные с критериями.
Эта работа предлагает эффективную и учитывающую ординальность альтернативу моделирования текущим моделям, ориентированным на масштабирование, для оценки устной речи.