あるユーザーは、DiffusionGemmaモデルを海洋ドメインのデータセットに適応させるためのアドバイスを探しており、特にドメイン適応のためのContinued Pretraining (CPT)を実行する方法について知りたいと考えています。
- ユーザーはSupervised Fine-Tuning (SFT)を試みましたが、ハルシネーションが増加し、指示追従品質が低下したことを観察しました。
- DiffusionGemmaにはベースモデルなしでインストラクションチューニングされたチェックポイントしか提供されていないため、標準的なCPTに続くSFTのワークフローが防止されています。
- ユーザーはDiffusionGemmaでの成功したCPTの例や、CPTをサポートし良好な推論速度を提供する他のテキスト拡散モデルの推奨を求めています。
- ハードウェア制約には、トレーニング用のNVIDIA DGX Sparkと推論用のRTX A6000 (48 GB)が含まれます。