UmarTransit-1B : LLM de domaine GTFS open-source affiné à partir de Qwen2.5-1.5B

Un développeur a publié UmarTransit-1B, un modèle linguistique open-source spécialisé dans les systèmes de transport public et les données GTFS, construit en affinant le modèle de base Qwen2.5-1.5B-Instruct.

Le modèle a été entraîné à l'aide de QLoRA sur 3 306 paires d'instructions-réponses synthétiques dérivées de plus de 77 millions de lignes de flux GTFS nettoyés dans 10 pays. Il atteint un score ROUGE-L global de 0,82 et est disponible aux formats Safetensors et GGUF pour l'inférence locale.

Le projet démontre que la qualité des données l'emporte sur la quantité, montrant que des paires d'entraînement bien structurées peuvent obtenir de bons résultats sur du matériel gratuit comme un Colab T4.