레딧 사용자가 소규모 언어 모델(SLM) 파인튜닝을 위한 실용적인 조언을 구함

한 레딧 사용자는 Small Language Models (SLM) 의 파인튜닝을 위한 실제 사례와 모범 사례를 요청하고 있으며, 특히 전체 파인튜닝과 LoRA와 같은 Parameter-Efficient Fine-Tuning (PEFT) 방법에 중점을 두고 있습니다.

게시자는 해양 생물학과 같은 특정 도메인에서 SLM의 지식을 향상시키면서 일반적인 추론 능력을 보존하는 것을 목표로 합니다. 그들은 데이터셋 큐레이션, 다양한 작업에 적합한 LoRA 랭크 선택, 그리고 Supervised Fine-Tuning (SFT) 및 정렬 단계 동안 합성 데이터 생성 전략에 대한 구체적인 조언에 관심이 있습니다.

목표는 이 전문화된 모델을 LLM-as-a-judge로 통합하거나 단순히 파인튜닝 기술을 효과적으로 배우기 위해 회사 파이프라인에 통합하는 것입니다.