एक व्यवस्थित अध्ययन इस बात का मूल्यांकन करता है कि कोडिंग एजेंट कंपाइलर की छूटी हुई अनुकूलनों को कितनी अच्छी तरह पैच कर सकते हैं, यह पहचानते हुए कि सफलता के लिए रिपोर्ट किए गए विशिष्ट मामले से परे समान मामलों में सामान्यीकरण की आवश्यकता है।
- शोधकर्ताओं ने वास्तविक दुनिया की LLVM छूटी हुई अनुकूलन समस्याओं का उपयोग करके एक बेंचमार्क तैयार किया ताकि एजेंट द्वारा उत्पन्न पैच की तुलना मानव डेवलपर्स के पैच से की जा सके।
- परिणाम संकेत देते हैं कि, हालांकि एजेंट अक्सर प्रदान किए गए उदाहरनों को अनुकूलित करते हैं, उनके पैच अक्सर केवल इच्छित दायरे के हिस्से को ही कवर करते हैं या उसमें आंशिक रूप से ओवरलैप होते हैं।
- कुछ मामलों में, एजेंट द्वारा उत्पन्न पैच डेवलपर्स द्वारा प्रदान किए गए संदर्भ पैच से परे सामान्यीकृत होते हैं।
- अध्ययन ऐतिहासिक-ज्ञान वृद्धि तकनीकों का परिचय देता है जो पुनर्प्राप्ति और डिस्टिलेशन के माध्यम से पूर्व LLVM अनुकूलन pull requests का लाभ उठाते हैं।
- ये वृद्धि तकनीक डेवलपर-अनुकूल सामान्यीकरण को बेहतर बनाती हैं और वास्तविक दुनिया के IR पर लागू होने पर व्यावहारिक लाभ प्रदान करती हैं।
निष्कर्ष कंपाइलर अनुकूलनों को स्वचालित करने की जटिलता को उजागर करते हैं, यह सुझाव देते हुए कि बिना व्यापक सामान्यीकरण क्षमताओं के साधारण उदाहरण ठीक करना अपर्याप्त है।