Пользователь описывает полностью локальный конвейер веб-исследований для AI-агентов, который избегает всех облачных API-вызовов. Архитектура включает слои: самохостинговый SearXNG для поиска, слой кэша/индекса Hister, rnet (теперь wreq) для TLS-подписанных HTTP-запросов и Camoufox в качестве резервного безголового браузера.
- SearXNG обрабатывает начальные поисковые запросы локально.
- Hister сохраняет каждую загруженную страницу, чтобы обеспечить мгновенный повторный доступ и сохранение контента даже при изменении или удалении страниц.
- rnet (теперь wreq) обходит базовые антибот-защиты с помощью TLS fingerprinting.
- Camoufox рендерит страницы с тяжелым JS, требующие полного взаимодействия с браузером.
- Локальный qwen3-reranker-4b оценивает релевантность, все компоненты общаются через MCP server.
Выделено, что слой кэша является наиболее ценным компонентом для сохранения доступа к исходному контенту. Весь стек работает на одной машине вместе с моделями инференса без внешних зависимостей.