Papers with Codeは、キーワード検索と意味的検索を組み合わせるハイブリッド検索システムを実装し、関連するAI研究論文の発見を支援しています。このアーキテクチャは、埋め込みパイプラインの管理と低遅延クエリの提供のために、Hugging Face Jobs、Storage Buckets、Inference Endpointsを活用しています。

  • Hugging Face Jobsは、Qwen/Qwen3-Embedding-0.6Bモデルを使用して11万1000件以上の論文の埋め込み処理に対応するバースト可能なGPUコンピューティングを提供します。
  • Storage Bucketsは、データベースのエクスポート、ジョブ処理、インデックスのインポート間の耐久性のあるストレージとして機能します。
  • Inference Endpointsは、ライブクエリに対して低遅延の埋め込みを提供し、利用不可の場合は全文検索にフォールバックします。
  • システムは、再帰的ランク融合（RRF）を使用して、LexicalなPostgreSQL検索とpgvectorからの高密度ベクトル検索を組み合わせます。
  • 厳格な埋め込み契約により、モデルリビジョン、入力形式、正規化方法のバージョン管理によって再現性が保証されます。

オフラインでのコーパス構築とオンラインの検索サービスとの分離により、このプラットフォームは研究者向けに高い検索品質と迅速な応答時間の両方を維持しています。