文章表明，字段顺序会显著影响结构化元数据系统中的检索质量，因为标准微调会导致编码器依赖绝对位置而非字段标签。为解决这一问题，作者提出了置换不变微调（PI-FT），该方法在随机采样的字段顺序下序列化记录，并结合丢弃机制将含义绑定到标签上。

  • 当索引字段顺序改变时，标准微调的 nDCG@10 分数下降 7.4 点，而 PI-FT 将该惩罚降低至 0.2 点。
  • 该方法通过修改数据加载器，在训练期间采样新的字段顺序并应用随机字段丢弃。
  • 一个经过微调的 118M 参数 CPU 编码器在 DevDataBench 上达到 0.707 nDCG@10，优于 text-embedding-3-large（0.556）等零样本基线。
  • 该基准测试涵盖了近 10,000 个发展统计指标的多语言接地查询。

此方法确保可检索数据不受模式变化的影响而保持可发现性，这对于调解公共统计数据访问的 AI 代理至关重要，因为使用日志无法为未搜索的指标提供训练信号。