一名用户使用 QLoRA 微调了 Gemma 4 26B-A4B 和 Gemma 4 12B，以在训练期间比较密集架构与混合专家（Mixture-of-Experts）架构。数据集由 DeepSeek v4 Pro 从 Natural Questions 生成，花费了 $0.36 用于 1200 次请求。

  • 26B 模型消耗的 VRAM 约为 12B 模型的 2 倍（28.6 vs 14.3 GB），但实现了显著更低的训练损失（0.18 vs 0.71）。
  • 密集的 12B 模型在墙上时钟时间上更快（54 vs 72 分钟），并且具有更高的每 GPU 吞吐量（345 vs 261 tok/s）。
  • 12B 模型的梯度范数比 26B 模型嘈杂约 5.4 倍，用户指出较小模型可能存在过拟合。

作者提供了两个模型的 GGUF 检查点以及数据集，以允许微调过程的可复现性。