한 사용자가 클라우드 API 호출을 전혀 사용하지 않는 AI 에이전트를 위한 완전 로컬 웹 연구 파이프라인을 상세히 설명합니다. 이 아키텍처는 검색용 자체 호스팅 SearXNG, 캐시/인덱스 계층인 Hister, TLS 지문을 사용한 HTTP 페칭을 위한 rnet(현재 wreq), 그리고 헤드리스 브라우저 폴백으로 Camoufox를 레이어로 구성합니다.
- SearXNG가 로컬에서 초기 검색 쿼리를 처리합니다.
- Hister는 가져온 모든 페이지를 저장하여 반복 조회를 즉시 수행하고 페이지가 변경되거나 사라져도 콘텐츠를 보존합니다.
- rnet(현재 wreq)는 TLS 지문을 사용하여 기본 봇 방지 조치를 우회합니다.
- Camoufox는 전체 브라우저 상호작용이 필요한 JS 중량 페이지를 렌더링합니다.
- 로컬 qwen3-reranker-4b가 관련성을 점수화하며, 모든 구성 요소는 MCP 서버를 통해 통신합니다.
캐시 계층은 원래 콘텐츠에 대한 접근을 유지하는 데 가장 가치 있는 구성 요소로 강조됩니다. 전체 스택은 외부 의존성 없이 추론 모델과 동일한 단일 시스템에서 실행됩니다.