OpenAI ने GPT-6 फ़ैमिली के लिए एक सुधारा हुआ प्रॉम्प्ट कैशिंग सिस्टम लॉन्च किया है जो डिफ़ॉल्ट रूप से उच्च कैश हिट रेट प्रदान करता है और कैश्ड इनपुट टोकन पर 90% तक की छूट देता है। इस अपडेट में डेवलपर्स को प्रदर्शन की निगरानी करने, मिस को डिagnose करने और अपनी इंटीग्रेशन को अनुकूलित करने में मदद करने के लिए नए टूल्स शामिल हैं।
- कैश छूट अब 30 मिनट की खिड़की के भीतर पुनः उपयोग किए जाने वाले योग्य शेयर्ड प्रीफ़िक्स के लिए लागू होती है।
- प्रॉम्प्ट कैशिंग डैशबोर्ड समय के साथ हिट रेट को ट्रैक करने और कैश्ड बनाम अनकैश्ड टोकन की तुलना करने की सुविधा देता है।
- एक डायग्नोस्टिक्स टूल कैश मिस के कारणों, जैसे टूल्स या सेटिंग्स में बदलाव, को पहचानने में मदद करता है।
- एक्सप्लिसिट कैश ब्रेकप्वाइंट डेवलपर्स को विशिष्ट प्रॉम्प्ट प्रीफ़िक्स को पुनः उपयोग करने की अनुमति देते हैं।
- कॉन्फ़िगरेशन अपडेट के माध्यम से रिसपॉन्स के बीच रीजनिंग एफर्ट को समायोजित किया जा सकता है बिना कैश को तोड़े।
- प्रीवर्मिंग क्षमताएं ज्ञात संदर्भ को पहले से तैयार करने की अनुमति देती हैं ताकि लेटेंसी कम की जा सके।
ये फ़ीचर्स शेयर्ड इंस्ट्रक्शन्स, टूल डिफ़िनिशन और API रिक्वेस्ट के बीच संदर्भ के पुनः उपयोग को अधिकतम करके पERSISTENT एजेंट्स को तेज़ और कम लागत वाला बनाते हैं।