tokenizers लाइब्रेरी ने टेक्स्ट एन्कोडिंग के लिए प्रदर्शन में महत्वपूर्ण सुधार करने वाला एक संस्करण 1 रिलीज़ कैंडिडेट जारी किया है, जो प्रशिक्षण और सर्विंग वर्कफ़्लो में बॉटलनेक को दूर करता है। यह अपडेट v0.23 के साथ API संगतता बनाए रखते हुए दस मॉडल परिवारों में महत्वपूर्ण गति वृद्धि प्रदान करता है।
- bitcannon लाइब्रेरी के माध्यम से बिटस्ट्रीम संचालन के साथ रेगेक्स विभाजन को प्रतिस्थापित करके, एकल थ्रेड पर एन्कोडिंग v0.23 की तुलना में 3 से 30 गुना तेज है।
- एक थ्रेड-लोkal शब्द कैश दोहराए गए प्री-टोकन के लिए परिणाम संग्रहीत करता है, जिससे बाद की घटनाओं में विलय प्रक्रिया को पूरी तरह से छोड़ा जा सकता है।
- BPE विलय लूप स्क्रैच बफर का पुन: उपयोग करता है और एकल कॉल में प्री-टोकन के बैच को संसाधित करता है, जिससे प्रति-कॉल मेमोरी आवंटन समाप्त हो जाता है।
- आठ वर्करों पर स्केलिंग करने पर रैखिक प्रदर्शन का 76% प्राप्त होता है, और सीधे बफर लेखन के माध्यम से डीकोडिंग थ्रूपुट भी सुधारा गया है।
ये अनुकूलन सुनिश्चित करते हैं कि टोकनाइजेशन मॉडल को डेटा की कमी न हो, जब तक कि GPU CPU प्रसंस्करण का इंतजार करते हुए निष्क्रिय न बैठे।