Skala DB paten SQLite FTS5 hingga 5,36 juta catatan mengungkap pelajaran kinerja

Penulis berbagi wawasan teknik dari penskalaan basis data SQLite dengan pencarian teks lengkap FTS5 dari 3,5 juta menjadi 5,36 juta catatan paten AS, berfokus pada teknik optimisasi untuk data skala besar.

• Data PatentsView dimigrasikan ke Portal Data Terbuka USPTO pada Maret 2026, memerlukan pembaruan sumber unduhan dan struktur tabel.
• Menjalankan ANALYZE setelah pemuatan massal menyelesaikan masalah kueri EXISTS berkorelasi, mengurangi waktu eksekusi dari 34 detik menjadi 0,16 detik pada tabel sitasi 108 juta baris.
• Baris lebar (rata-rata 19KB) merugikan operasi UPDATE; menggunakan tabel samping dengan JOIN lebih efisien daripada memperbarui massal tabel utama 119GB.
• Kueri AND mengungguli OR untuk BM25 pada skala ini, memangkas hasil kandidat dari ~1 juta menjadi ribuan dan meningkatkan waktu kueri secara signifikan.

Basis data sekarang berisi 5,36 juta paten dari tahun 2010–2025 dengan grafik sitasi 108 juta tepi, dan langkah selanjutnya melibatkan penandaan catatan yang baru ditambahkan.