한 사용자가 QLoRA를 사용하여 Gemma 4 26B-A4B와 Gemma 4 12B를 파인튜닝하고, 학습 중 Dense와 Mixture-of-Experts 아키텍처를 비교했습니다. 데이터셋은 Natural Questions에서 DeepSeek v4 Pro로 생성되었으며, 1200개의 요청에 대해 0.36달러가 소요되었습니다.

  • 26B 모델은 12B보다 VRAM을 약 2배 더 사용했지만(28.6 vs 14.3 GB), 학습 손실이 훨씬 낮았습니다(0.18 vs 0.71).
  • Dense 12B는 실제 시간 기준 더 빠랐고(54 vs 72분), GPU당 처리량도 높았습니다(345 vs 261 tok/s).
  • 12B의 그라디언트 노름은 26B보다 약 5.4배 더 노이즈가 많았으며, 사용자는 작은 모델에서 과적합이 발생할 가능성이 있다고 언급했습니다.

저자는 파인튜닝 과정의 재현성을 위해 두 모델과 데이터셋에 대한 GGUF 체크포인트를 제공합니다.