एक डेवलपर ने UmarTransit-1B जारी किया है, जो सार्वजनिक परिवहन प्रणालियों और GTFS डेटा के लिए विशेष रूप से बनाया गया एक ओपन-सोर्स भाषा मॉडल है, जिसे Qwen2.5-1.5B-Instruct बेस मॉडल पर फाइन-ट्यूनिंग करके बनाया गया है।
मॉडल को 10 देशों में साफ किए गए GTFS फ़ीड्स की 77M+ पंक्तियों से व्युत्पन्न 3,306 सिंथेटिक इंस्ट्रक्शन-रिस्पॉनस पेयर्स पर QLoRA का उपयोग करके प्रशिक्षित किया गया था। यह समग्र रूप से ROUGE-L स्कोर 0.82 प्राप्त करता है और स्थानीय इनफरेंस के लिए Safetensors और GGUF फॉर्मेट में उपलब्ध है।
परियोजना यह दर्शाती है कि मात्रा की तुलना में डेटा की गुणवत्ता महत्वपूर्ण है, यह दिखाते हुए कि अच्छी तरह से संरचित प्रशिक्षण पेयर्स Colab T4 जैसे मुफ्त हार्डवेयर पर मजबूत परिणाम प्राप्त कर सकते हैं।