Недавняя статья под названием "LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" оценивает производительность больших языковых моделей на четырёх различных аппаратных платформах. Исследование оценивает модель Qwen-2.5-1.5B 4bit с использованием разных движков вывода для каждого устройства, чтобы оценить пропускную способность, задержку и тепловую стабильность.
- RPi5-Hailo продемонстрировал наиболее последовательную производительность с коэффициентом вариации .04% и без троттлинга, хотя страдал от высокой задержки (72 секунды для 564 токенов) из-за ограничений пропускной способности PCIe и накладных расходов на коммуникацию CPU-NPU.
- iPhone 16 Pro показал лучшие показатели токенов в секунду среди смартфонов, но столкнулся с нестабильностью на начальных и финальных итерациях, снизившись с ~42 tok/sec до 23-24 tok/sec из-за тепловой активности.
- S24 Ultra потребовал фрагментированного префилла для управления скачками ресурсов; хотя он стабилизировал температуру на уровне в среднем 64 +/- 1.9 C, он достиг минимальной частоты, что привело к времени декодирования 56 секунд для 646 токенов.
- Ноутбучный GPU с чипом 4050 обеспечил наилучшую общую производительность, несмотря на превышение теплового дизайна мощности, в среднем потребляя 34 Вт системной мощности.
Рецензент отмечает ограничения исследования, включая непоследовательное использование коэффициентов вариации для сравнения и различные метрики мощности, которые не изолируют использование компонентов.