SQLite FTS5 특허 DB를 536만 건으로 확장하며 드러난 성능 교훈

저자는 FTS5 전체 텍스트 검색이 포함된 SQLite 데이터베이스를 350만 건에서 536만 건의 미국 특허 레코드로 확장하는 과정에서 얻은 엔지니어링 인사이트를 공유합니다. 여기서는 대규모 데이터에 대한 최적화 기법에 중점을 둡니다.

• PatentsView 데이터는 2026년 3월 USPTO 오픈 데이터 포털로 마이그레이션되었으며, 다운로드 소스와 테이블 구조 업데이트가 필요했습니다.
• 대량 로드 후 ANALYZE를 실행하여 상관 EXISTS 쿼리 문제를 해결했으며, 1억 870만 행 인용 테이블에서 실행 시간이 34초에서 0.16초로 단축되었습니다.
• 넓은 행(평균 19KB)은 UPDATE 작업에 불리합니다. 메인 119GB 테이블을 대량 업데이트하는 것보다 JOIN과 함께 사이드 테이블을 사용하는 것이 더 효율적입니다.
• 이 규모에서는 BM25에 대해 AND 쿼리가 OR보다 성능이 우수하며, 후보 결과를 약 100만 건에서 수천 건으로 줄여 쿼리 시간을 크게 개선했습니다.

데이터베이스에는 2010년부터 2025년까지의 특허 536만 건과 1억 870만 에지의 인용 그래프가 포함되어 있으며, 다음 단계는 새로 추가된 레코드에 태그를 달는 것입니다.