Un usuario ejecuta Hermes en Android con Graphene OS y backend remoto de Llama.cpp

Un usuario demuestra ejecutar la interfaz Hermes en Android a través de una Terminal Debian nativa dentro de Graphene OS, utilizando un backend remoto para inferencia.

• La configuración combina una RTX 5070 Ti móvil con un eGPU que contiene una RTX 3090 a través de Thunderbolt 5, proporcionando aproximadamente 34 GB de VRAM.
• La inferencia es manejada por Llama.cpp y el modelo Qwen 3.6 35b, alcanzando 2500 tps para el procesamiento del prompt y 80-150 tps para la generación con MTP.
• La configuración permite la dictado de voz local y una interfaz gráfica elegante en el dispositivo móvil, dependiendo de hardware externo para los cálculos.