Pengguna menjalankan Hermes di Android dengan Graphene OS dan backend Llama.cpp jarak jauh

Seorang pengguna mendemonstrasikan menjalankan antarmuka Hermes di Android melalui Terminal Debian asli dalam Graphene OS, memanfaatkan backend jarak jauh untuk inferensi.

• Penyiapan ini menggabungkan RTX 5070 Ti mobile dengan eGPU yang berisi RTX 3090 melalui Thunderbolt 5 untuk menyediakan sekitar 34GB VRAM.
• Inferensi ditangani oleh Llama.cpp dan model Qwen 3.6 35b, mencapai 2500 tps untuk pemrosesan prompt dan 80-150 tps untuk generasi dengan MTP.
• Konfigurasi ini memungkinkan diktasi suara lokal dan GUI yang ramping di perangkat mobile sambil mengandalkan perangkat keras eksternal untuk komputasi.