Un utilisateur exécute Hermes sur Android avec Graphene OS et un backend Llama.cpp distant

Un utilisateur démontre l'exécution de l'interface Hermes sur Android via un terminal Debian natif dans Graphene OS, en utilisant un backend distant pour l'inférence.

• La configuration associe une RTX 5070 Ti mobile à un eGPU contenant une RTX 3090 via Thunderbolt 5 pour fournir environ 34 Go de VRAM.
• L'inférence est gérée par Llama.cpp et le modèle Qwen 3.6 35b, atteignant 2500 tps pour le traitement des prompts et 80-150 tps pour la génération avec MTP.
• La configuration permet la dictée vocale locale et une interface graphique élégante sur l'appareil mobile tout en s'appuyant sur du matériel externe pour le calcul.