Perplexityは、自社開発のRustベースの検索・ランキングエンジン「Photon」をリリースし、これですべてのプロダクショントラフィックを処理するようになった。これは以前フォークしていたオープンソースのコンポーネントに取って代わるもの。

新しいシステムはPerplexity Search APIで「高速検索」モードを可能にし、エージェントワークフローに対して大幅に低いレイテンシを提供する。

  • プロダクションのp99レイテンシが約800msから65msに低下し、高速検索ではp50で160ms、p95で230msを報告。
  • Photonは以前の構成と比較して、ドキュメントあたりの保存データを2.5倍に増やしながら、サービングマシンを約20%削減して稼働している。
  • 高速検索は推定エージェントタスクコストを約68%削減する（3,554タスクで187.60ドルから59.73ドルへ）が、内部ベンチマークでの関連性スコアを低下させる。
  • エンジンはディスクI/Oとキャッシュミス最小化のため、適応型投稿リスト、予算付き走査、io_uringによるバッチ非同期読み込みを使用している。
  • 高速検索は1,000リクエストあたり1ドルで価格設定されており、日常のエージェントループに推奨されるが、デフォルトプリセットは困難または曖昧なクエリに対して依然として優れている。

PhotonによりPerplexityは検索インフラをより効率的にスケーリングでき、開発者にはAIエージェント構築のためのコスト効率が高く低レイテンシなオプションが提供された。