Un desarrollador ha lanzado UmarTransit-1B, un modelo de lenguaje de código abierto especializado en sistemas de transporte público y datos GTFS, construido mediante el ajuste fino del modelo base Qwen2.5-1.5B-Instruct.
El modelo fue entrenado utilizando QLoRA en 3.306 pares sintéticos de instrucción-respuesta derivados de más de 77M filas de feeds GTFS limpiados en 10 países. Alcanza una puntuación ROUGE-L de 0.82 en general y está disponible en formatos Safetensors y GGUF para inferencia local.
El proyecto demuestra que la calidad de los datos supera a la cantidad, mostrando que los pares de entrenamiento bien estructurados pueden lograr resultados sólidos en hardware gratuito como un Colab T4.