Benchmark · coding
Aider Polyglot
Aider Polyglot, Aider कोडिंग टूल का एक कोड-एडिटिंग बेंचमार्क है जो जाँचता है कि कोई LLM कई प्रोग्रामिंग भाषाओं में मौजूदा कोड को कितनी अच्छी तरह एडिट करता है। स्कोर उन कार्यों का प्रतिशत है जिनके एडिट सही कोड बनाते हैं और कार्य के टेस्ट पास कर लेते हैं।
और पढ़ें
- उदाहरण
- एक सामान्य आइटम कई भाषाओं में से किसी एक (Python, Rust, Go, Java, JavaScript या C++) में Exercism-शैली का कोडिंग अभ्यास होता है, जहाँ मॉडल को दी गई सोर्स फ़ाइलों को एडिट करके आवश्यक फ़ंक्शन लागू करना होता है ताकि उसके टेस्ट पास हों।
- स्कोरिंग
- मेट्रिक हल किए गए कार्यों का प्रतिशत है: कोई कार्य तभी गिना जाता है जब एडिट किया गया कोड उसके सभी स्वचालित टेस्ट पास कर ले। Aider यह भी ट्रैक करता है कि एडिट कितनी बार सही, लागू-होने-योग्य फ़ॉर्मैट में आते हैं।
- सत्यापन
- परिणाम स्वचालित रूप से जाँचे जाते हैं: एडिट की गई फ़ाइलों को अभ्यास के यूनिट-टेस्ट सूट पर चलाया जाता है, और कोई कार्य तभी पास होता है जब हर टेस्ट पास हो — कोई मानवीय वोट या सटीक-मिलान तुलना नहीं।
- यह क्यों मायने रखता है
- यह एक असली डेवलपर वर्कफ़्लो को दर्शाता है — शुरू से स्निपेट लिखने के बजाय कई भाषाओं में मौजूदा फ़ाइलों को एडिट करना — इसलिए यह इस बात का व्यावहारिक संकेत है कि कोई मॉडल कोडिंग असिस्टेंट के रूप में कितना उपयोगी है।
हल किया गया उदाहरण
कार्य
Aider Polyglot 6 भाषाओं में Exercism से अभ्यास लेता है: मॉडल को एक समस्या का विवरण और एक stub फ़ाइल मिलती है (जैसे
def abbreviate(words): ... वाली acronym.py), और उसे इस तरह संपादित करना होता है कि छिपा हुआ pytest टेस्ट-सूट पास हो जाए। उदाहरण विवरण: किसी वाक्यांश को उसके संक्षिप्त रूप में बदलें — 'Portable Network Graphics' → 'PNG', जहाँ स्पेस, हाइफ़न और अंडरस्कोर विभाजक माने जाएँ और बाकी विराम-चिह्न अनदेखा किए जाएँ।समाधान
import re
def abbreviate(words):
return "".join(w[0].upper() for w in re.findall(r"[A-Za-z']+", words))व्याख्या
regex शब्द-टोकन (अक्षर और शब्द के भीतर के apostrophe) निकालता है, हर टोकन का पहला अक्षर लेकर उसे बड़े अक्षर में करता है और जोड़ देता है, जिससे 'Portable Network Graphics' → 'PNG'। मूल्यांकन अभ्यास के छिपे यूनिट टेस्ट चलाता है; आइटम को अंक तभी मिलते हैं जब सभी टेस्ट पास हों (aider पूरे सूट पर pass@2 रिपोर्ट करता है)।