Perplexity는 자체 개발한 Rust 기반의 검색 및 랭킹 엔진인 Photon을 출시했으며, 이는 이제 모든 프로덕션 트래픽을 처리하며 이전에 포크된 오픈소스 구성 요소를 대체했습니다. 새로운 시스템은 Perplexity Search API에서 "Fast Search" 모드를 가능하게 하여 에이전트 워크플로우에 현저히 낮은 지연 시간을 제공합니다.
- 프로덕션 p99 지연 시간이 약 800ms에서 65ms로 감소했으며, Fast Search는 p50에서 160ms, p95에서 230ms를 보고했습니다.
- Photon은 이전 설정에 비해 문서당 저장 데이터가 2.5배 더 많으면서도 서빙 머신 약 20% fewer로 작동합니다.
- Fast Search는 내부 벤치마크에서 관련성 점수를 낮추지만, 에이전트 작업 비용을 약 68% 절감합니다(3,554개 작업 기준 $187.60에서 $59.73으로).
- 엔진은 디스크 I/O와 캐시 미스를 최소화하기 위해 적응형 포스트링 리스트, 예산 기반 탐색, io_uring을 통한 배치 비동기 읽기를 사용합니다.
- Fast Search는 1,000회 요청당 $1로 가격 책정되며 일상적인 에이전트 루프에 권장됩니다. 반면 기본 프리셋은 어렵거나 모호한 쿼리에 더 적합합니다.
Photon은 Perplexity가 검색 인프라를 더 효율적으로 확장할 수 있게 하며, 개발자에게 AI 에이전트 구축을 위한 비용 효율적이고 낮은 지연 시간의 옵션을 제공합니다.