लेखक ने TraceML में एक निदान उपकरण एकीकृत किया है, जो कि एक ओपन-सोर्स PyTorch अवलोकन परियोजना है, ताकि उपयोगकर्ताओं को GPU कंप्यूट-बाउंड और इनपुट-बाउड प्रशिक्षण प्रदर्शन समस्याओं के बीच अंतर करने में मदद मिल सके। यह नई सुविधा डेवलपर्स को तेजी से पहचानने की अनुमति देती है कि कम GPU उपयोग धीमे डेटा लोडिंग या वास्तविक मॉडल कंप्यूटेशन सीमाओं के कारण है।
- एकीकरण Hugging Face `Trainer` में एक `TraceMLTrainerCallback` जोड़ता है, जिसमें न्यूनतम सेटअप बदलाव की आवश्यकता होती है।
- यह इनपुट प्रतीक्षा समय को स्टेप कार्य से अलग करता है ताकि बॉटलनेक प्रकार पर एक व्यावहारिक निर्णय दिया जा सके।
- ResNet-50 के साथ एक Colab उदाहरण ने दिखाया कि DataLoader सेटिंग्स को समायोजित करने से निदान इनपुट-बाउंड से कंप्यूट-बाउंड में बदल गया और गति 1.83× से बढ़ गई।
यह उपकरण उपयोगकर्ताओं को सही घटक को अनुकूलित करने से रोकने में मदद करता है, उनके प्रशिक्षण रन को प्रभावित करने वाले विशिष्ट बाधा को स्पष्ट करके।