本文探讨了是否仅利用从其聊天API派生的两个预言机，就能重建出闭源大语言模型的等效分词器。这两个预言机分别是：返回字符串中token数量的token长度预言机，以及解码前n个token以解决合并顺序歧义的token前缀预言机。

  • Token长度预言机：对于任意字符串s，返回len(tokenize(s))。
  • Token前缀预言机：对于字符串s和整数n，返回从tokenize(s)的前n个token解码得到的字符串。
  • Token前缀预言机是通过利用模型通过常规聊天接口以可控方式重复文本的能力来构建的。

提出的核心问题是：这两个预言机是否足以重建出一个等效的分词器，使其在任何输入上产生完全相同的token边界（仅允许token ID重映射）。