一位Reddit用户正在寻求关于微调小型语言模型(SLM)的实际见解和最佳实践,特别关注全量微调和参数高效微调(PEFT)方法(如LoRA)。

发帖者旨在增强SLM在特定领域(如海洋生物学)的知识,同时保留其通用推理能力。他们对有关数据集策展、为不同任务选择合适的LoRA秩以及在监督微调(SFT)和对齐阶段生成合成数据的策略的具体建议感兴趣。

目标是将该专用模型集成到公司管道中作为LLM-as-a-judge,或者仅仅是有效地学习微调技术。