Um usuário no Hugging Face discute sua tentativa de ajustar finamente o modelo Llama-3.1-8B usando QLoRA e um script de automação personalizado chamado ChetGPT. O objetivo é criar um modelo de escrita criativa em vez de um instrucional, usando os romances de Harry Potter como dados de treinamento.
O usuário relata que seguir o conselho da GPT resultou em desastrosos resultados, com cenas sendo cortadas aleatoriamente ou reorganizadas incorretamente. Eles compartilham seu código Python para `train_auto.py`, que inclui recursos como análise automática de dados, determinação da quantidade de aprendizado baseada no tamanho dos dados e testes de geração para verificar o aprendizado do estilo.
A postagem serve como um pedido de feedback sobre se essa abordagem e o código associado estão corretos para alcançar as capacidades desejadas de escrita criativa.