한 사용자가 Graphene OS 내의 네이티브 Debian 터미널을 통해 Android에서 Hermes 인터페이스를 실행하고 추론을 위해 원격 백엔드를 활용하는 시연을 보였습니다.

  • 이 설정은 Thunderbolt 5를 통해 모바일 RTX 5070 Ti와 RTX 3090이 탑재된 eGPU를 연결하여 약 34GB의 VRAM을 제공합니다.
  • 추론은 Llama.cpp와 Qwen 3.6 35b 모델로 처리되며, 프롬프트 처리 시 2500 tps, MTP 사용 시 생성 속도는 80~150 tps를 달성했습니다.
  • 이 구성은 모바일 기기에서 로컬 음성 입력과 깔끔한 GUI를 가능하게 하며, 연산은 외부 하드웨어에 의존합니다.