Perplexity ने Photon जारी किया है, एक आंतरिक Rust-आधारित पुनर्प्राप्ति और रैंकिंग इंजन जो अब सभी उत्पादन ट्रैफिक संभाल रहा है, जिसने पहले फोर्क किए गए ओपन-सोर्स घटक को प्रतिस्थापित किया है। नया सिस्टम Perplexity Search API में एक "Fast Search" मोड सक्षम करता है, जो एजेंटिक वर्कफ़्लो के लिए काफी कम विलंबता प्रदान करता है।
- उत्पादन p99 विलंबता लगभग 800 ms से घटकर 65 ms हो गई, जबकि Fast Search ने p50 पर 160 ms और p95 पर 230 ms रिपोर्ट किया।
- Photon पिछले सेटअप की तुलना में कम सर्विंग मशीनों का उपयोग कर रहा है और प्रत्येक दस्तावेज़ के लिए 2.5x अधिक डेटा संग्रहीत कर रहा है।
- Fast Search ने अनुमानित एजेंट कार्य लागत को लगभग 68% कम किया (3,554 कार्यों में $187.60 से घटकर $59.73) लेकिन आंतरिक बेंचमार्क पर प्रासंगिकता स्कोर कम कर दिया।
- इंजन डिस्क I/O और कैश मिस को कम करने के लिए एडेप्टिव पोस्टिंग लिस्ट्स, बजेटेड ट्रावर्सल, और io_uring के माध्यम से बैच्ड एसिंक रीड्स का उपयोग करता है।
- Fast Search की कीमत 1,000 अनुरोधों पर $1 है और यह दैनिक एजेंट लूप के लिए अनुशंसित है, जबकि डिफ़ॉल्ट प्रीसेट कठिन या अस्पष्ट क्वेरी के लिए बेहतर रहता है।
Photon Perplexity को अपनी खोज इंफ्रास्ट्रक्चर को अधिक कुशलता से स्केल करने की अनुमति देता है और डेवलपर्स को AI एजेंट बनाने के लिए एक लागत-प्रभावी, कम विलंबता वाला विकल्प प्रदान करता है।