UmarTransit-1B: LLM domain GTFS open-source yang di-fine-tune dari Qwen2.5-1.5B

Seorang pengembang telah merilis UmarTransit-1B, sebuah model bahasa open-source yang khusus untuk sistem transit publik dan data GTFS, dibangun dengan melakukan fine-tuning pada model dasar Qwen2.5-1.5B-Instruct.

Model ini dilatih menggunakan QLoRA pada 3.306 pasangan instruksi-respons sintetis yang berasal dari lebih dari 77 juta baris umpan GTFS yang dibersihkan di 10 negara. Model ini mencapai skor ROUGE-L sebesar 0,82 secara keseluruhan dan tersedia dalam format Safetensors dan GGUF untuk inferensi lokal.

Proyek ini menunjukkan bahwa kualitas data lebih penting daripada kuantitas, menunjukkan bahwa pasangan pelatihan yang terstruktur dengan baik dapat mencapai hasil yang kuat pada perangkat keras gratis seperti Colab T4.