"지속 부하 하의 모바일, NPU 및 GPU 성능 효율성 트레이드오프"라는 제목의 최근 논문은 네 가지 서로 다른 하드웨어 플랫폼에서 대규모 언어 모델의 성능을 벤치마킹합니다. 이 연구는 각 장치에 대해 다양한 추론 엔진을 사용하여 Qwen-2.5-1.5B 4bit 모델을 평가하며, 처리량, 지연 시간 및 열 안정성을 측정합니다.
- RPi5-Hailo는 .04%의 변동 계수와 스로틀링 없이 가장 일관된 성능을 보였으나, PCIe 대역폭 제한과 CPU-NPU 통신 오버프로드로 인해 높은 지연 시간(564 토큰에 72초)이 발생했습니다.
- iPhone 16 Pro는 스마트폰 중 가장 높은 초당 토큰 수를 달성했지만, 열 활동으로 인해 초기 및 최종 반복에서 불안정성을 겪으며 ~42 tok/sec에서 23-24 tok/sec로 떨어졌습니다.
- S24 Ultra는 자원 급증을 관리하기 위해 청킹 프리필을 필요로 했으며, 평균 64 +/- 1.9 C에서 열을 안정화시켰지만 주파수 바닥에 도달하여 646 토큰에 56초의 디코드 시간을 기록했습니다.
- 4050 칩을 탑재한 노트북 GPU는 열 설계 전력을 초과했음에도 불구하고 평균 34 W 시스템 전력으로 가장 우수한 전반적인 성능을 제공했습니다.
리뷰어는 비교를 위한 변동 계수의 불일치 사용 및 구성 요소 사용을 분리하지 않는 가변 전력 지표 등 연구의 한계를 지적합니다.