Sebuah makalah terbaru berjudul "LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" mengevaluasi kinerja model bahasa besar di empat platform perangkat keras yang berbeda. Studi ini menilai model Qwen-2.5-1.5B 4bit dengan menggunakan berbagai mesin inferensi untuk setiap perangkat guna mengukur throughput, latensi, dan stabilitas termal.
- RPi5-Hailo menunjukkan kinerja paling konsisten dengan koefisien variasi sebesar .04% dan tanpa throttling, meskipun mengalami latensi tinggi (72 detik untuk 564 token) karena keterbatasan bandwidth PCIe dan overhead komunikasi CPU-NPU.
- iPhone 16 Pro mencapai jumlah token per detik terbaik untuk ponsel pintar tetapi mengalami ketidakstabilan pada iterasi awal dan akhir, turun dari ~42 tok/sec menjadi 23-24 tok/sec akibat aktivitas termal.
- S24 Ultra memerlukan prefill terpotong-potong untuk mengelola lonjakan sumber daya; meskipun menstabilkan suhu rata-rata 64 +/- 1.9 C, perangkat ini mencapai batas frekuensi minimum sehingga waktu decode menjadi 56 detik untuk 646 token.
- GPU laptop dengan chip 4050 memberikan kinerja keseluruhan terbaik meskipun melebihi daya desain termalnya, dengan rata-rata daya sistem 34 W.
Peninjau mencatat keterbatasan dalam studi ini, termasuk penggunaan koefisien variasi yang tidak konsisten untuk perbandingan dan metrik daya yang bervariasi yang tidak mengisolasi penggunaan komponen.