ParallelKernelBench 87 वास्तविक वर्कलोड के लिए तेज मल्टी-GPU CUDA kernels लिखने पर LLMs का मूल्यांकन करता है। शीर्ष मॉडल ऐसे kernels उत्पन्न करता है जो इष्टतम कार्यान्वयनों की गति के एक तिहाई से कम प्रदर्शन करते हैं, हालांकि कुछ आउटपुट किसी भी मौजूदा सार्वजनिक कोड से बेहतर हैं।
फ्रंटियर LLMs तेज मल्टी-GPU kernels लिखने में संघर्ष कर रहे हैं
अनुवादित English → हिन्दी