Um artigo recente intitulado "LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" avalia o desempenho de modelos de linguagem grandes em quatro plataformas de hardware distintas. O estudo avalia um modelo Qwen-2.5-1.5B 4bit usando diferentes motores de inferência para cada dispositivo, a fim de avaliar vazão, latência e estabilidade térmica.
- O RPi5-Hailo demonstrou o desempenho mais consistente, com coeficiente de variação de .04% e sem limitação de frequência, embora tenha sofrido com alta latência (72 segundos para 564 tokens) devido aos limites de largura de banda do PCIe e à sobrecarga de comunicação entre CPU e NPU.
- O iPhone 16 Pro alcançou a melhor taxa de tokens por segundo para smartphones, mas apresentou instabilidade nas iterações inicial e final, caindo de ~42 tok/s para 23-24 tok/s devido à atividade térmica.
- O S24 Ultra exigiu pré-processamento em blocos para gerenciar picos de recursos; embora tenha estabilizado a temperatura em uma média de 64 +/- 1.9 °C, atingiu um limite mínimo de frequência, resultando em tempo de decodificação de 56 segundos para 646 tokens.
- A GPU do notebook com chip 4050 entregou o melhor desempenho geral, apesar de exceder sua potência de design térmico, com consumo médio de sistema de 34 W.
O revisor observa limitações no estudo, incluindo o uso inconsistente de coeficientes de variação para comparação e métricas de energia variáveis que não isolam o uso dos componentes.