लेखक FTS5 फुल-टेक्स्ट सर्च के साथ 3.5 मिलियन से 5.36 मिलियन अमेरिकी पेटेंट रिकॉर्ड तक SQLite डेटाबेस को स्केल करते हुए इंजीनियरिंग अंतर्दृष्टि साझा करता है, जिसमें बड़े पैमाने के डेटा के लिए अनुकूलन तकनीकों पर ध्यान केंद्रित किया गया है।
- PatentsView डेटा मार्च 2026 में USPTO ओपन डेटा पोर्टल में माइग्रेट किया गया, जिसमें डाउनलोड स्रोतों और टेबल संरचनाओं को अपडेट करने की आवश्यकता थी।
- बल्क-लोडिंग के बाद ANALYZE चलाने से एक सहसंबद्ध EXISTS क्वेरी समस्या का समाधान हुआ, जिसने 108 मिलियन पंक्तियों वाली सिटेशन टेबल पर निष्पादन समय को 34 सेकंड से घटाकर 0.16 सेकंड कर दिया।
- चौड़ी पंक्तियाँ (औसतन 19KB) UPDATE ऑपरेशंस को दंडित करती हैं; JOINs के साथ साइड टेबल्स का उपयोग करना मुख्य 119GB टेबल को मास-अपडेट करने से अधिक कुशल है।
- इस स्केल पर BM25 के लिए AND क्वेरीज, OR से बेहतर प्रदर्शन करती हैं, जिसने उम्मीदवार परिणामों को ~1 मिलियन से घटाकर हज़ारों कर दिया और क्वेरी समय को काफी बेहतर बना दिया।
डेटाबेस अब 2010–2025 की अवधि के 5.36 मिलियन पेटेंट्स और 108 मिलियन-एज सिटेशन ग्राफ़ को धारण करता है, और अगला कदम नए जोड़े गए रिकॉर्ड्स को टैग करने से जुड़ा है।