Papers with Code внедрил систему гибридного поиска, сочетающую ключевые слова и семантический поиск, чтобы помочь пользователям находить релевантные статьи по исследованиям в области ИИ. Архитектура использует Hugging Face Jobs, Storage Buckets и Inference Endpoints для управления конвейером эмбеддингов и обслуживания запросов с низкой задержкой.
- Hugging Face Jobs обеспечивает вычислительные мощности GPU с возможностью масштабирования для создания эмбеддингов более 110 000 статей с использованием модели Qwen/Qwen3-Embedding-0.6B.
- Storage Buckets служат надежным хранилищем между экспортами базы данных, обработкой заданий и импортом индексов.
- Inference Endpoints обслуживают эмбеддинги с низкой задержкой для живых запросов, переходя к полнотекстовому поиску в случае недоступности.
- Система использует рекурсивное ранжирование (RRF) для объединения лексического поиска PostgreSQL и плотного векторного поиска от pgvector.
- Строгий контракт эмбеддингов обеспечивает воспроизводимость за счет версионирования ревизии модели, формата ввода и метода нормализации.
Разделение процессов построения офлайн-корпуса и онлайн-сервисов поиска позволяет платформе поддерживать как высокое качество поиска, так и быстрое время отклика для исследователей.