Un usuario de Reddit solicita experiencias del mundo real y mejores prácticas para el ajuste fino de Modelos de Lenguaje Pequeños (SLM), centrándose específicamente tanto en el ajuste fino completo como en los métodos de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA.
El autor busca mejorar el conocimiento de un SLM en un dominio específico, como la biología marina, mientras preserva sus capacidades generales de razonamiento. Está interesado en consejos concretos sobre la curación de conjuntos de datos, la selección de rangos LoRA adecuados para diferentes tareas y estrategias para generar datos sintéticos durante las etapas de Ajuste Fino Supervisado (SFT) y alineación.
El objetivo es integrar el modelo especializado en una canalización empresarial como LLM-as-a-judge o simplemente aprender eficazmente las técnicas de ajuste fino.