用户寻求关于 DiffusionGemma 的 CPT 或替代文本扩散模型的建议

一位用户正在寻求关于将 DiffusionGemma 模型适应海洋领域数据集的建议，特别是寻找用于领域适应的 Continued Pretraining (CPT) 方法。

• 该用户尝试了 Supervised Fine-Tuning (SFT)，但观察到幻觉增加且指令遵循质量下降。
• 他们指出，DiffusionGemma 仅提供经过指令微调的检查点，而没有基础模型，这阻止了标准的 CPT 后接 SFT 的工作流程。
• 用户正在寻求 DiffusionGemma 成功的 CPT 示例，或推荐其他支持 CPT 且推理速度良好的文本扩散模型。
• 硬件限制包括用于训练的 NVIDIA DGX Spark 和用于推理的 RTX A6000 (48 GB)。