UmarTransit-1B: Qwen2.5-1.5B에서 파인튜닝된 오픈 소스 GTFS 도메인 LLM

개발자가 대중교통 시스템 및 GTFS 데이터에 특화된 오픈 소스 언어 모델인 UmarTransit-1B를 출시했습니다. 이 모델은 Qwen2.5-1.5B-Instruct 기본 모델을 파인튜닝하여 구축되었습니다.

이 모델은 10개국에서 정제된 77M+ 행의 GTFS 피드에서 유도된 3,306개의 합성 지시 응답 쌍을 사용하여 QLoRA로 훈련되었습니다. 전체 ROUGE-L 점수는 0.82이며 로컬 추론을 위해 Safetensors 및 GGUF 형식으로 제공됩니다.

이 프로젝트는 데이터 품질이 양보다 중요함을 보여주며, Colab T4와 같은 무료 하드웨어에서도 잘 구조화된 훈련 쌍이 강력한 결과를 달성할 수 있음을 보여줍니다.