एक स्वतंत्र शोधकर्ता ने आधुनिक होमलेब AI कार्यों के लिए उनकी वैधता का मूल्यांकन करने के लिए K80, M40, P100, V100 और T40 सहित 15 निष्क्रिय NVIDIA एंटरप्राइज़ GPUs का बेंचमार्किंग किया। LLMs, कंप्यूटर विजन, Blender और Whisper पर एक कस्टम Dockerized सूट का उपयोग करते हुए, अध्ययन इस धारणा को चुनौती देता है कि ये EOL कार्ड पुराने हो गए हैं।
- 16GB V100 स्वीट स्पॉट के रूप में सामने आया, जो अधिक महंगी T40 के प्रदर्शन से मेल खाता है।
- Pascal आर्किटेक्चर का उपयोग करके LLM इनफरेंस के लिए, P40 ने P100 को हरा दिया।
- M60 ने Whisper के साथ ऑडियो ट्रांसक्रिप्शन के लिए अत्यधिक सक्षम साबित हुआ, V100 को हराया और केवल $50 के आसपास खर्च किया।
- 4U चैसिस में कार्ड्स को स्टैक करते समय प्रदर्मान स्केलिंग रैखिक है, हालांकि पीढ़ियों को मिश्रित करने से तेज़ GPUs जल्दी बाधित हो सकते हैं।
- किसी भी सस्ती X99 मदरबोर्ड को उच्च-लेन Xeon CPU के साथ मिलाने से इन GPUs के लिए पर्याप्त बैंडविड्थ प्रदान होती है।
निष्कर्ष सुझाव देते हैं कि निष्क्रिय एंटरप्राइज़ हार्डवेयर VRAM का एक लागत-प्रभावी स्रोत बना हुआ है, जो होमलेब उत्साही लोगों के लिए स्रोत से पुराने सॉफ़्टवेयर कंपाइल करने के लिए तैयार हैं।