Papers with Code는 관련 AI 연구 논문을 찾는 데 도움이 되도록 키워드 및 의미 기반 검색을 결합한 하이브리드 검색 시스템을 구현했습니다. 이 아키텍처는 임베딩 파이프라인을 관리하고 저지연 쿼리를 처리하기 위해 Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용합니다.

  • Hugging Face Jobs는 Qwen/Qwen3-Embedding-0.6B 모델을 사용하여 110,000개 이상의 논문에 대한 임베딩을 위한 버스트 가능한 GPU 컴퓨팅을 제공합니다.
  • Storage Buckets는 데이터베이스 내보내기, 작업 처리 및 인덱스 가져오기 간에 내구성 있는 저장소 역할을 합니다.
  • Inference Endpoints는 실시간 쿼리에 대해 저지연 임베딩을 제공하며, 사용 불가 시 전체 텍스트 검색으로 폴백합니다.
  • 이 시스템은 어휘 PostgreSQL 검색과 pgvector의 밀집 벡터 검색을 결합하기 위해 상호 순위 융합(RRF)을 사용합니다.
  • 엄격한 임베딩 계약은 모델 리비전, 입력 형식 및 정규화 방법을 버전 관리함으로써 재현성을 보장합니다.

오프라인 코퍼스 빌딩과 온라인 검색 서비스의 분리는 연구자를 위한 높은 검색 품질과 빠른 응답 시간을 모두 유지할 수 있도록 합니다.