Un récent papier intitulé "LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" évalue les performances des grands modèles de langage sur quatre plateformes matérielles distinctes. L'étude évalue un modèle Qwen-2.5-1.5B 4bit en utilisant différents moteurs d'inférence pour chaque appareil afin d'évaluer le débit, la latence et la stabilité thermique.
- RPi5-Hailo a démontré les performances les plus cohérentes avec un coefficient de variation de .04% et aucune limitation, bien qu'il ait souffert d'une latence élevée (72 secondes pour 564 tokens) en raison des limites de bande passante PCIe et de la surcharge de communication CPU-NPU.
- L'iPhone 16 Pro a obtenu le meilleur nombre de tokens par seconde pour les smartphones mais a connu une instabilité lors des itérations initiales et finales, passant d'environ 42 tok/sec à 23-24 tok/sec en raison de l'activité thermique.
- Le S24 Ultra a nécessité un préremplissage par morceaux pour gérer les pics de ressources ; bien qu'il ait stabilisé la température à une moyenne de 64 +/- 1.9 C, il a atteint un plancher de fréquence entraînant un temps de décodage de 56 secondes pour 646 tokens.
- Le GPU portable avec une puce 4050 a offert les meilleures performances globales malgré le dépassement de sa puissance thermique de conception, avec une consommation système moyenne de 34 W.
Le critique note des limites dans l'étude, notamment l'utilisation incohérente des coefficients de variation pour la comparaison et des métriques d'alimentation variables qui n'isolent pas l'utilisation des composants.