"LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load" शीर्षक का एक हालिया पेपर चार अलग-अलग हार्डवेयर प्लेटफॉर्म पर बड़े भाषा मॉडल की प्रदर्शन क्षमताओं का मूल्यांकन करता है। इस अध्ययन में Qwen-2.5-1.5B 4bit मॉडल का उपयोग विभिन्न इनफरेंस इंजन के साथ किया गया है ताकि थ्रूपुट, लेटेन्सी और थर्मल स्थिरता का आकलन किया जा सके।
- RPi5-Hailo ने .04% के भिन्नता गुणांक और कोई थ्रॉटलिंग नहीं के साथ सबसे स्थिर प्रदर्शन दिखाया, हालांकि PCIe बैंडविड्थ सीमाओं और CPU-NPU संचार ओवरहेड के कारण इसमें उच्च लेटेन्सी (564 टोकन के लिए 72 सेकंड) रही।
- iPhone 16 Pro ने स्मार्टफोन के लिए सबसे अच्छे टोकन प्रति सेकंड हासिल किए, लेकिन तापीय गतिविधि के कारण प्रारंभिक और अंतिम पुनरावृत्तियों में अस्थिरता का अनुभव हुआ, जो ~42 tok/sec से 23-24 tok/sec तक गिर गया।
- S24 Ultra को संसाधन स्पाइक को प्रबंधित करने के लिए चंक्ड प्रीफिल की आवश्यकता थी; जबकि इसने औसतन 64 +/- 1.9 C पर थर्मल्स को स्थिर किया, लेकिन आवृत्ति फ्लोर पर पहुंचने के कारण 646 टोकन के लिए 56 सेकंड का डिकोड समय मिला।
- 4050 चिप वाले लैपटॉप GPU ने अपने थर्मल डिज़ाइन पावर को पार करने के बावजूद सबसे अच्छा समग्र प्रदर्शन दिया, जिसमें औसत सिस्टम पावर 34 W रही।
समीक्षक ने अध्ययन में सीमाओं का उल्लेख किया है, जिसमें तुलना के लिए भिन्नता गुणांकों का असंगत उपयोग और घटक उपयोग को अलग न करने वाले विभिन्न पावर मेट्रिक्स शामिल हैं।