著者は、FTS5全文検索機能を備えたSQLiteデータベースを、350万件から536万件の米国特許レコードへスケールアウトする際のエンジニアリングインサイトについて共有しています。ここでは、大規模データの最適化技術に焦点を当てています。

  • PatentsViewデータは2026年3月にUSPTOオープンデータポータルに移行され、ダウンロードソースとテーブル構造の更新が必要となりました。
  • バルクロード後にANALYZEを実行することで、相関 EXISTS クエリの問題が解決し、1億870万行の参照テーブルにおいて実行時間が34秒から0.16秒に短縮されました。
  • 幅の広い行（平均19KB）はUPDATE操作にペナルティを与えます。メインの119GBテーブルを一括更新するよりも、JOINを使用したサイドテーブルの利用の方が効率的です。
  • この規模では、BM25においてANDクエリがORクエリを上回り、候補結果を約100万件から数千件に削減し、クエリ時間を大幅に改善しました。

データベースには2010年から2025年にかけての特許536万件と、1億870万エッジの参照グラフが含まれており、次のステップでは新たに追加されたレコードへのタグ付けが行われます。