Un utilisateur détaille un pipeline de recherche web entièrement local pour les agents IA qui évite tous les appels d'API cloud. L'architecture superpose SearXNG auto-hébergé pour la recherche, la couche de cache/index Hister, rnet (maintenant wreq) pour les requêtes HTTP avec empreinte TLS, et Camoufox comme solution de repli navigateur sans tête.
- SearXNG gère les requêtes de recherche initiales localement.
- Hister stocke chaque page récupérée pour garantir que les recherches répétées sont instantanées et préservent le contenu même si les pages changent ou disparaissent.
- rnet (maintenant wreq) contourne les mesures anti-bot basiques en utilisant l'empreinte TLS.
- Camoufox rend les pages lourdes en JS nécessitant une interaction navigateur complète.
- Un qwen3-reranker-4b local évalue la pertinence, tous les composants communiquant via un serveur MCP.
La couche de cache est mise en avant comme le composant le plus précieux pour maintenir l'accès au contenu original. L'ensemble de la pile s'exécute sur une seule machine aux côtés des modèles d'inférence sans dépendances externes.