Usuário do Reddit busca conselhos práticos para o fine-tuning de Small Language Models

Um usuário do Reddit está solicitando insights do mundo real e melhores práticas para o fine-tuning de Small Language Models (SLMs), focando especificamente tanto no fine-tuning completo quanto nos métodos de Parameter-Efficient Fine-Tuning (PEFT) como LoRA.

O autor visa aprimorar o conhecimento de um SLM em um domínio específico, como biologia marinha, enquanto preserva suas capacidades gerais de raciocínio. Eles estão interessados em conselhos concretos sobre curadoria de datasets, seleção de ranks LoRA adequados para diferentes tarefas e estratégias para gerar dados sintéticos durante as etapas de Supervised Fine-Tuning (SFT) e alinhamento.

O objetivo é integrar o modelo especializado em um pipeline da empresa como LLM-as-a-judge ou simplesmente aprender eficazmente as técnicas de fine-tuning.