あるユーザーがQLoRAを使用してGemma 4 26B-A4BとGemma 4 12Bをファインチューニングし、トレーニング中の密集型とMixture-of-Expertsアーキテクチャを比較しました。データセットはNatural QuestionsからDeepSeek v4 Proによって生成され、1200リクエストで0.36ドルかかりました。

  • 26Bモデルは12BのVRAMの約2倍（28.6対14.3 GB）を消費しましたが、トレーニング損失は大幅に低く抑えられました（0.18対0.71）。
  • 密集型の12Bは実時間でより高速（54分対72分）で、GPUあたりのスループットも高い（345対261 tok/s）でした。
  • 12Bの勾配ノルムは26Bの約5.4倍ノイズが多く、ユーザーは小さいモデルでの過学習の可能性を指摘しました。

著者はファインチューニングプロセスの再現性を可能にするため、両モデルおよびデータセットのGGUFチェックポイントを提供しています。