Пользователь Reddit ищет практические советы по тонкой настройке малых языковых моделей

Пользователь Reddit запрашивает реальный опыт и лучшие практики для тонкой настройки малых языковых моделей (SLM), уделяя особое внимание как полному обучению, так и методам эффективной по параметрам тонкой настройки (PEFT), таким как LoRA.

Автор поста стремится расширить знания SLM в конкретной области, например, морской биологии, сохраняя при этом её общие способности к рассуждению. Его интересует конкретный совет по отбору данных, выбору подходящих рангов LoRA для различных задач и стратегиям генерации синтетических данных на этапах контролируемой тонкой настройки (SFT) и выравнивания.

Цель состоит в интеграции специализированной модели в конвейер компании в качестве LLM-as-a-judge или просто в эффективном освоении техник тонкой настройки.