Пользователь запускает Hermes на Android с Graphene OS и удалённым бэкендом Llama.cpp

Пользователь демонстрирует запуск интерфейса Hermes на Android через нативный терминал Debian в Graphene OS, используя удалённый бэкенд для вывода.

• Конфигурация связывает мобильную RTX 5070 Ti с eGPU, содержащим RTX 3090, через Thunderbolt 5, обеспечивая около 34 ГБ VRAM.
• Вывод обрабатывается Llama.cpp и моделью Qwen 3.6 35b, достигая 2500 tps для обработки запроса и 80-150 tps для генерации с MTP.
• Конфигурация позволяет использовать локальное голосовое диктование и элегантный GUI на мобильном устройстве, полагаясь на внешнее оборудование для вычислений.