あるRedditユーザーは、ローカル大規模言語モデルの性能向上を目指して、一貫性のある寓話データを用いてQwen3.6-27Bモデルをファインチューニングしています。このプロジェクトは、コミュニティから広範な寓話データセットを集め、モデルのパフォーマンスを高めることを目的としています。

  • 著者はH200 GPUをレンタルしてファインチューニングプロセスを実施しました。
  • 初期ベンチマークでは、人間による評価とSWEスコアで+5%の改善が見られました。
  • ユーザーは、他の人々にローカルの寓話データをパッケージ化しデータセットに含めるよう依頼しています。
  • 目標は、さらなるトレーニング実行後に最終モデルをオープンソースとして公開することです。

このイニシアチブは、専門的なデータ収集を通じてオープンウェイトモデルの能力を向上させるためのコミュニティ主導の取り組みを浮き彫りにしています。