著者は、組織内の複数のプロジェクトがそれぞれ独立したベクターストアからデータを埋め込みおよび取得できる、管理者制御の集中型ベクターデータベースサービスを構築しました。このアプローチにより、各プロジェクトが独自の埋め込みロジックと重複コードを維持する必要がなくなります。

  • 各プロジェクトは単一のベースパスの下に名前付きストレージディレクトリを受け取り、完全な分離が保証されます。
  • システムは軽量なsentence-transformerモデルを使用して埋め込みを生成し、FAISSで高速な類似度検索を行います。
  • Pythonバックエンドがチャンキング、アップサート、およびシンプルなエンドポイント経由でのクエリを処理します。
  • 管理者レイヤーは、データベースのリスト表示、特定ファイルベクターの削除、Webhookによるステップのトリガーなど、完全なライフサイクル制御を提供します。

このアーキテクチャにより、ベクター検索の設定が迅速な統合タスクとなり、コードベースを集中させながらプロジェクトデータをサンドボックス化することで、メンテナンスオーバーヘッドを削減します。