あるユーザーが、Graphene OS内のネイティブDebianターミナル経由でAndroid上でHermesインターフェースを実行し、推論にリモートバックエンドを利用するデモンストレーションを行いました。

  • このセットアップでは、Thunderbolt 5を介してモバイルRTX 5070 TiとRTX 3090を搭載したeGPUをペアリングし、約34GBのVRAMを提供しています。
  • 推論はLlama.cppとQwen 3.6 35bモデルによって処理され、プロンプト処理で2500 tps、MTPによる生成で80〜150 tpsを達成しました。
  • この構成により、モバイルデバイス上でローカルの音声入力と洗練されたGUIが可能になり、計算は外部ハードウェアに依存しています。