Usuário executa Hermes no Android com Graphene OS e backend remoto do Llama.cpp

Um usuário demonstra executar a interface Hermes no Android por meio de um Terminal Debian nativo dentro do Graphene OS, utilizando um backend remoto para inferência.

• A configuração combina uma RTX 5070 Ti móvel com um eGPU contendo uma RTX 3090 via Thunderbolt 5, fornecendo aproximadamente 34 GB de VRAM.
• A inferência é tratada pelo Llama.cpp e pelo modelo Qwen 3.6 35b, alcançando 2500 tps para processamento do prompt e 80-150 tps para geração com MTP.
• A configuração permite ditado de voz local e uma GUI elegante no dispositivo móvel, dependendo de hardware externo para computação.