该论文介绍了潜在序数原型对齐（LOPA），这是一种基于原型的正则化器，它在潜在空间中强制实施序数几何先验，以解决多模态大语言模型中被忽视的语言习得结构。结合用于从冻结的Whisper编码器中自适应提取表示的Semantic-Anchored Layer Routing（SALR），该框架实现了0.361的RMSE。

  • LOPA直接在潜在空间上强制实施序数几何先验。
  • SALR从冻结的Whisper编码器中自适应地提取多层级表示。
  • 该方法无需基于LLM的微调即可与数十亿参数的系统相媲美。
  • 分析表明，SALR和LOPA提供了可解释且与标准对齐的偏好。

这项工作为口语评估提供了一种高效且感知序数的建模替代方案，以应对当前以扩展为中心模型。