本記事は、クローズドソースの大規模言語モデルの同等のトークナイザーを、そのチャットAPIから派生した2つのオラクルのみを使用して再構築できるかどうかを検証しています。これらのオラクルは、文字列内のトークン数を返すトークン長オラクルと、マージ順序の曖昧さを解消するために最初のn個のトークンをデコードするプレフィックストークンオラクルです。

  • トークン長オラクル: 任意の文字列sが与えられると、len(tokenize(s))を返します。
  • プレフィックストークンオラクル: 文字列sと整数nが与えられると、tokenize(s)の最初のn個のトークンからデコードされた文字列を返します。
  • プレフィックストークンオラクルは、通常のチャットインターフェースを通じてモデルがテキストを制御された方法で繰り返す能力を活用して構築されます。

提示された核心的な疑問は、これらの2つのオラクルが、トークンIDの再マッピングまで含めて、任意の入力に対して全く同じトークン境界を生成する同等のトークナイザーを再構築するのに十分かどうかです。