UmarTransit-1B: LLM de domínio GTFS de código aberto ajustado a partir do Qwen2.5-1.5B

Um desenvolvedor lançou o UmarTransit-1B, um modelo de linguagem de código aberto especializado em sistemas de transporte público e dados GTFS, construído por meio do ajuste fino do modelo base Qwen2.5-1.5B-Instruct.

O modelo foi treinado usando QLoRA em 3.306 pares sintéticos de instrução-resposta derivados de mais de 77M linhas de feeds GTFS limpos em 10 países. Ele alcança uma pontuação ROUGE-L de 0,82 no geral e está disponível nos formatos Safetensors e GGUF para inferência local.

O projeto demonstra que a qualidade dos dados supera a quantidade, mostrando que pares de treinamento bem estruturados podem alcançar resultados sólidos em hardware gratuito como um Colab T4.