본 기사는 폐쇄형 대규모 언어 모델의 동등한 토크나이저를 해당 채팅 API에서 파생된 두 개의 오라클만을 사용하여 재구성할 수 있는지 조사합니다. 이 오라클들은 문자열의 토큰 수를 반환하는 토큰 길이 오라클과 병합 순서 모호성을 해결하기 위해 첫 n개의 토큰을 디코딩하는 접두사 토큰 오라클입니다.
- 토큰 길이 오라클: 임의의 문자열 s가 주어지면 len(tokenize(s))를 반환합니다.
- 접두사 토큰 오라클: 문자열 s와 정수 n이 주어지면 tokenize(s)의 첫 n개 토큰에서 디코딩된 문자열을 반환합니다.
- 접두사 토큰 오라클은 일반 채팅 인터페이스를 통해 모델이 텍스트를 제어된 방식으로 반복할 수 있는 능력을 활용하여 구축됩니다.
제시된 핵심 질문은 이 두 오라클이 임의의 입력에 대해 토큰 ID 재매핑까지 포함하여 완전히 동일한 토큰 경계를 생성하는 동등한 토크나이저를 재구성하기에 충분한지 여부입니다.