Un reciente artículo titulado "LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" evalúa el rendimiento de modelos de lenguaje grande en cuatro plataformas de hardware distintas. El estudio analiza un modelo Qwen-2.5-1.5B 4bit utilizando diferentes motores de inferencia para cada dispositivo con el fin de evaluar el rendimiento, la latencia y la estabilidad térmica.
- RPi5-Hailo demostró el rendimiento más consistente con un coeficiente de variación de .04% y sin limitaciones, aunque sufrió de alta latencia (72 segundos para 564 tokens) debido a los límites del ancho de banda PCIe y la sobrecarga de comunicación CPU-NPU.
- El iPhone 16 Pro logró el mejor rendimiento en tokens por segundo para teléfonos inteligentes, pero experimentó inestabilidad en las iteraciones iniciales y finales, cayendo de ~42 tok/sec a 23-24 tok/sec debido a la actividad térmica.
- El S24 Ultra requirió un prellenado fragmentado para gestionar picos de recursos; aunque estabilizó la temperatura en un promedio de 64 +/- 1.9 C, alcanzó un límite de frecuencia que causó un tiempo de decodificación de 56 segundos para 646 tokens.
- La GPU del portátil con un chip 4050 ofreció el mejor rendimiento general a pesar de exceder su potencia de diseño térmico, con un consumo promedio de sistema de 34 W.
El revisor señala limitaciones en el estudio, incluido el uso inconsistente de coeficientes de variación para la comparación y métricas de energía variables que no aíslan el uso de componentes.