Um usuário detalha um pipeline de pesquisa web totalmente local para agentes de IA que evita todas as chamadas de API em nuvem. A arquitetura inclui camadas: SearXNG auto-hospedado para busca, a camada de cache/índice Hister, rnet (agora wreq) para fetches HTTP com TLS fingerprinting, e Camoufox como fallback de navegador headless.
- SearXNG lida com consultas de busca iniciais localmente.
- Hister armazena cada página obtida para garantir que buscas repetidas sejam instantâneas e preserve o conteúdo mesmo se as páginas mudarem ou desaparecerem.
- rnet (agora wreq) contorna medidas básicas anti-bot usando TLS fingerprinting.
- Camoufox renderiza páginas pesadas em JS que exigem interação completa do navegador.
- Um qwen3-reranker-4b local pontua a relevância, com todos os componentes se comunicando via MCP server.
A camada de cache é destacada como o componente mais valioso para manter o acesso ao conteúdo original. Toda a pilha roda em uma única máquina junto com modelos de inferência sem dependências externas.