media Hugging Face Forums · há 1 h · open_models

Discussão sobre Parsewave e qualidade em vez de escala nos dados de pós-treinamento

Traduzido do English → Português (BR)

O artigo discute o retorno decrescente ao aumentar o volume de dados de pós-treinamento à medida que os modelos melhoram, sugerindo uma mudança para conjuntos de dados de maior qualidade. Destaca o Parsewave, que gera dados de pós-treinamento a partir de problemas de engenharia do mundo real junto com rastros de avaliação.

Dados sintéticos podem se tornar redundantes assim que um modelo aprende um padrão, tornando variações adicionais menos úteis.
O autor defende pequenas quantidades de tarefas desafiadoras e realistas com ground truth claro e revisão adequada.
Calibrar a dificuldade da tarefa é crítico para evitar ruído ou falta de benefício.
O Parsewave constrói seu conjunto de dados a partir de problemas de engenharia do mundo real em vez de depender apenas da escalabilidade.

A discussão questiona o que torna uma amostra digna de inclusão nos conjuntos de dados SFT/RL/pós-treinamento e se direcionar modos de falha específicos é mais importante do que a escalabilidade.

Importância 1/3 Confiança 1/3 Hugging Face Forums Training data Training methods

Artigos relacionados

media Hugging Face Forums · há 35 d · 21 visualizações

Discussão sobre o tratamento de gargalos de dados em simulações de ML científico

Um usuário compartilha sua experiência com o custo computacional de gerar conjuntos de dados de treinamento a partir de simulações físicas, como fluxo de fluidos e campos estruturais. Ele destaca que o desafio principal não é a arquitetura do modelo, mas a dificuldade de construir um conjunto de dados grande e diverso quando cada amostra é cara de produzir.

arxiv arXiv cs.LG · há 38 d · 26 visualizações

Estudo deriva fórmula empírica para estimar o tamanho do conjunto de treinamento para classificação com sensores inerciais

Os pesquisadores apresentam uma avaliação empírica sistemática das taxas de convergência das curvas de aprendizado para abordar a falta de diretrizes baseadas em dados para determinar tamanhos mínimos de amostra em tarefas de classificação baseadas em sensores inerciais.

arxiv arXiv cs.AI · há 40 d · 9 visualizações

Estudo revela compensação entre sobreposição e intervalo em dados de treinamento ASR sintéticos

Um estudo investiga o ritmo conversacional como uma variável controlável para treinar conversações multi-orador sintéticas em reconhecimento automático de fala (ASR). Os pesquisadores parametrizaram as distribuições de pausa e sobreposição usando uma família de inclinação exponencial e exploraram o espaço tridimensional resultante por meio de amostragem hipercúbica latina e otimização bayesiana multiobjetivo.

media r/LocalLLaMA · há 41 d · 18 visualizações

TimeCapsuleLLM: treinando um modelo de 500M parâmetros em textos em inglês do século XIX

Um desenvolvedor concluiu um conjunto de dados de 160 GB contendo 40B de tokens com dados em inglês da Inglaterra e dos Estados Unidos entre 1800 e 1875. O autor treinou um modelo de avaliação de 500M parâmetros em uma amostra de 5B de tokens desta coleção.

lab NVIDIA Technical Blog · há 42 d · 19 visualizações

NVIDIA NeMo permite geração de dados sintéticos para pesquisa de IA financeira

A NVIDIA introduziu métodos usando seu framework NeMo para gerar dados sintéticos destinados ao ajuste fino de modelos de linguagem grandes no processamento de linguagem natural financeiro. Essa abordagem aborda as limitações dos conjuntos de dados do mundo real, que frequentemente superrepresentam eventos comuns como relatórios de lucros enquanto subrepresentam ocorrências mais raras.