L'auteur partage des insights techniques sur l'extension d'une base de données SQLite avec la recherche en texte intégral FTS5, passant de 3,5 millions à 5,36 millions de brevets américains, en se concentrant sur les techniques d'optimisation pour les données à grande échelle.
- Les données PatentsView ont été migrées vers le portail Open Data de l'USPTO en mars 2026, nécessitant des mises à jour des sources de téléchargement et des structures de tables.
- L'exécution d'ANALYZE après un chargement par lots a résolu un problème de requête EXISTS corrélée, réduisant le temps d'exécution de 34 secondes à 0,16 seconde sur une table de citations de 108 millions de lignes.
- Les lignes larges (moyenne de 19 Ko) pénalisent les opérations UPDATE ; l'utilisation de tables secondaires avec des JOIN est plus efficace que la mise à jour massive de la table principale de 119 Go.
- À cette échelle, les requêtes AND surpassent les requêtes OR pour BM25, réduisant les résultats candidats d'environ 1 million à quelques milliers et améliorant considérablement les temps de requête.
La base de données contient désormais 5,36 millions de brevets de 2010 à 2025 avec un graphe de citations de 108 millions d'arêtes, et l'étape suivante consiste à étiqueter les nouveaux enregistrements ajoutés.