本文介绍了语义参考框架（SemRF），这是一种基于锚点的形式化方法，旨在将语言模型中的语义测量与残差动力学分离。该方法通过将锚点固定来测量状态，解决了中间解码需要在各层间使用可比读出坐标的问题。

  • SemRF 使用伪逆绑定以实现精确同步，并在受限的双可逆性下产生稳定的语义基坐标。
  • 该方法生成一个语义 Voronoi 图，根据距离或 logits 将每层分配到一个粗粒度单元，同时保留单元内的运动。
  • 它定义了逐层步骤、贡献分布和不平衡诊断，以将残差计算追踪为深度方向的语义轨迹。
  • 规范轨迹被定义为在放宽边界的管状区域内的最小作用路径，当非空时遵循离散样条方程。
  • 这些轨迹中的低曲率意味着分段线性可压缩性和局部知识密度，表明较低的轨迹复杂度对应于更少的语义自由度。

作者认为，该框架为参数效率与轨迹复杂性之间提供了条件性联系，允许通过受控的接口误差和投影残差约束来分析残差计算。