Papers with Code 已实现一个结合关键词检索和语义检索的混合搜索系统，以帮助用户找到相关的 AI 研究论文。该架构利用 Hugging Face Jobs、Storage Buckets 和 Inference Endpoints 来管理嵌入管道并服务低延迟查询。

  • Hugging Face Jobs 提供可突发 GPU 计算能力，使用 Qwen/Qwen3-Embedding-0.6B 模型对超过 110,000 篇论文进行嵌入处理。
  • Storage Buckets 充当数据库导出、作业处理和索引导入之间的持久化存储。
  • Inference Endpoints 为实时查询提供低延迟的嵌入结果，如果不可用则回退到全文检索。
  • 该系统使用倒数秩融合（RRF）将 PostgreSQL 的词法搜索与来自 pgvector 的稠密向量搜索相结合。
  • 严格的嵌入契约通过对模型修订版、输入格式和归一化方法进行版本控制来确保可复现性。

这种离线语料库构建与在线搜索服务的分离，使平台能够同时保持高检索质量和快速响应时间，服务于研究人员。