저자는 조직 내 여러 프로젝트가 각각의 격리된 벡터 저장소에서 데이터를 임베딩하고 검색할 수 있는 관리자 제어형 중앙집중형 벡터 데이터베이스 서비스를 구축했습니다. 이 접근 방식은 각 프로젝트가 자체 임베딩 로직과 중복 코드를 유지해야 하는 필요성을 제거합니다.

  • 각 프로젝트는 단일 기본 경로 아래에 고유한 이름의 저장소 디렉토리를 받아 완전한 격리를 보장받습니다.
  • 시스템은 경량 sentence-transformer 모델을 사용하여 임베딩을 생성하고 FAISS로 빠른 유사도 검색을 수행합니다.
  • Python 백엔드는 청킹, 업서트 및 간단한 엔드포인트를 통한 쿼리를 처리합니다.
  • 관리자 레이어는 데이터베이스 나열, 특정 파일 벡터 삭제, 웹훅을 통한 단계 트리거링 등 전체 수명 주기를 제어합니다.

이 아키텍처는 벡터 검색 설정을 빠른 통합 작업으로 전환하고, 코드베이스를 중앙집중화하면서 프로젝트 데이터를 샌드박스 상태로 유지하여 유지 관리 오버헤드를 줄입니다.