開発者が、公共交通システムとGTFSデータに特化したオープンソースの言語モデルであるUmarTransit-1Bをリリースしました。これはQwen2.5-1.5B-Instructベースモデルをファインチューニングして構築されています。

このモデルはQLoRAを使用して、10か国でクリーニングされた77M+行のGTFSフィードから派生した3,306件の合成指示応答ペアでトレーニングされました。ROUGE-Lスコアは全体で0.82を達成し、ローカル推論用にSafetensorsおよびGGUF形式で利用可能です。

このプロジェクトは、データの質が量よりも重要であることを示しており、Colab T4のような無料のハードウェアでも構造化されたトレーニングペアが強力な結果をもたらすことを示しています。