El autor comparte ideas de ingeniería al escalar una base de datos SQLite con búsqueda de texto completo FTS5 de 3,5 millones a 5,36 millones de registros de patentes de EE. UU., centrándose en técnicas de optimización para datos a gran escala.

  • Los datos de PatentsView se migraron al Portal de Datos Abiertos de USPTO en marzo de 2026, lo que requirió actualizaciones en las fuentes de descarga y las estructuras de las tablas.
  • Ejecutar ANALYZE después de cargar masivamente resolvió un problema con una consulta EXISTS correlacionada, reduciendo el tiempo de ejecución de 34 segundos a 0,16 segundos en una tabla de citas de 108 millones de filas.
  • Las filas anchas (promedio de 19 KB) penalizan las operaciones UPDATE; usar tablas laterales con JOINs es más eficiente que actualizar masivamente la tabla principal de 119 GB.
  • Las consultas AND superan a las OR para BM25 a esta escala, reduciendo los resultados candidatos de ~1 millón a miles y mejorando significativamente los tiempos de consulta.

La base de datos ahora contiene 5,36 millones de patentes desde 2010–2025 con un grafo de citas de 108 millones de aristas, y el siguiente paso implica etiquetar los registros recién añadidos.