作者分享了将带有 FTS5 全文搜索的 SQLite 数据库从 350 万条扩展到 536 万条美国专利记录的工程见解,重点介绍大规模数据的优化技术。

  • PatentsView 数据于 2026 年 3 月迁移至 USPTO 开放数据门户,需要更新下载源和表结构。
  • 在批量加载后运行 ANALYZE 解决了相关 EXISTS 查询问题,将包含 1.08 亿行的引用表的执行时间从 34 秒减少到 0.16 秒。
  • 宽行(平均 19KB)会惩罚 UPDATE 操作;使用带有 JOINs 的侧表比大规模更新主 119GB 表更高效。
  • 在此规模下,AND 查询在 BM25 上优于 OR 查询,将候选结果从约 100 万减少到数千条,并显著改善了查询时间。

该数据库现在包含 2010–2025 年的 536 万项专利以及一个拥有 1.08 亿条边的引用图,下一步涉及标记新添加的记录。