ByteLex 研究人员从 11 个分词器词汇表中构建了坐标空间，以预测其字节级语言模型会在哪些虚构的单词上失败。该映射与模型测量的逐词准确率达到了 -0.98 的斯皮尔曼相关系数，优于基于语料库的统计信息。

  • 该模型是一个拥有 237M 参数的字节级语言模型，在未经分词的原始 UTF-8 上进行训练。
  • 研究发现错误主要取决于第一个字节，其中英语的字节先验劫持了答案。
  • 该映射被用于为预测出的弱点生成针对性的训练数据。
  • 应用修复后，保留数据的准确率从 .53/.40 提升至 .84/.79。

这种方法允许开发人员仅使用现有分词器的结构分析，即可识别和修正无分词器模型中的特定故障模式。