O autor compartilha insights de engenharia ao escalar um banco de dados SQLite com busca em texto completo FTS5 de 3,5 milhões para 5,36 milhões de registros de patentes dos EUA, focando em técnicas de otimização para dados em larga escala.
- Os dados do PatentsView foram migrados para o Portal de Dados Abertos do USPTO em março de 2026, exigindo atualizações nas fontes de download e nas estruturas das tabelas.
- Executar ANALYZE após o carregamento em massa resolveu um problema com uma consulta EXISTS correlacionada, reduzindo o tempo de execução de 34 segundos para 0,16 segundos em uma tabela de citações com 108 milhões de linhas.
- Linhas largas (média de 19KB) penalizam operações UPDATE; usar tabelas laterais com JOINs é mais eficiente do que atualizar em massa a tabela principal de 119GB.
- Consultas AND superam OR para BM25 nesta escala, cortando os resultados candidatos de ~1 milhão para milhares e melhorando significativamente os tempos de consulta.
O banco de dados agora contém 5,36 milhões de patentes de 2010–2025 com um grafo de citações de 108 milhões de arestas, e o próximo passo envolve marcar os registros recém-adicionados.