Artikel ini menyelidiki apakah tokenizer ekuivalen untuk model bahasa besar closed-source dapat direkonstruksi menggunakan hanya dua oracle yang berasal dari API chat-nya. Oracle-oracle ini adalah oracle panjang token, yang mengembalikan jumlah token dalam sebuah string, dan oracle token prefix, yang mendekode n token pertama untuk menyelesaikan ambiguitas urutan penggabungan.
- Oracle panjang token: Diberikan sembarang string s, ia mengembalikan len(tokenize(s)).
- Oracle token prefix: Diberikan string s dan bilangan bulat n, ia mengembalikan string yang didekode dari n token pertama tokenize(s).
- Oracle token prefix dibangun dengan memanfaatkan kemampuan model untuk mengulang teks secara terkendali melalui antarmuka chat reguler.
Pertanyaan inti yang diajukan adalah apakah dua oracle ini cukup untuk merekonstruksi tokenizer ekuivalen yang menghasilkan batas token yang sama persis pada setiap input, hingga pemetaan ulang ID token.