media Hugging Face Forums · há 7 h · open_models

Tutorial: Construa e treine um tokenizador BPE em nível de bytes do zero

Traduzido do English → Português (BR)

Um novo tutorial documenta o processo passo a passo para construir e treinar um tokenizador BPE em nível de bytes a partir dos primeiros princípios. O guia cobre detalhes-chave de implementação, como pré-tokenização consciente de Unicode, atualizações incrementais de frequência de pares e uso de um max heap com deleção preguiçosa.

O treinamento começa com 256 tokens de bytes brutos e aprende fusões em texto multilíngue.
Um índice invertido par-pré-token é implementado para otimizar o processo de treinamento.
O modelo foi treinado em 100 MiB de dados mC4 em oito idiomas.
Isso resulta em um vocabulário de 8.192 tokens com 7.936 fusões aprendidas.
O treinamento levou cerca de uma hora em um M2 Pro de 12 núcleos com 32 GB de memória.

O autor fornece o código-fonte completo e explicações por meio de um repositório no GitHub e inclui uma demonstração ao vivo para que os usuários interajam com o tokenizador personalizado.

Importância 1/3 Confiança 1/3 Hugging Face Forums Training data Training methods

Ler original

Discussão sobre Parsewave e qualidade em vez de escala nos dados de pós-treinamento

O artigo discute o retorno decrescente ao aumentar o volume de dados de pós-treinamento à medida que os modelos melhoram, sugerindo uma mudança para conjuntos de dados de maior qualidade. Destaca o Parsewave, que gera dados de pós-treinamento a partir de problemas de engenharia do mundo real junto com rastros de avaliação.

media Hugging Face Forums · há 46 d · 7 visualizações

Discussão sobre o tratamento de gargalos de dados em simulações de ML científico

Um usuário compartilha sua experiência com o custo computacional de gerar conjuntos de dados de treinamento a partir de simulações físicas, como fluxo de fluidos e campos estruturais. Ele destaca que o desafio principal não é a arquitetura do modelo, mas a dificuldade de construir um conjunto de dados grande e diverso quando cada amostra é cara de produzir.

arxiv arXiv cs.LG · há 49 d · 5 visualizações

Estudo deriva fórmula empírica para estimar o tamanho do conjunto de treinamento para classificação com sensores inerciais

Os pesquisadores apresentam uma avaliação empírica sistemática das taxas de convergência das curvas de aprendizado para abordar a falta de diretrizes baseadas em dados para determinar tamanhos mínimos de amostra em tarefas de classificação baseadas em sensores inerciais.

arxiv arXiv cs.AI · há 51 d · 7 visualizações

Estudo revela compensação entre sobreposição e intervalo em dados de treinamento ASR sintéticos

Um estudo investiga o ritmo conversacional como uma variável controlável para treinar conversações multi-orador sintéticas em reconhecimento automático de fala (ASR). Os pesquisadores parametrizaram as distribuições de pausa e sobreposição usando uma família de inclinação exponencial e exploraram o espaço tridimensional resultante por meio de amostragem hipercúbica latina e otimização bayesiana multiobjetivo.

media r/LocalLLaMA · há 52 d · 3 visualizações

TimeCapsuleLLM: treinando um modelo de 500M parâmetros em textos em inglês do século XIX

Um desenvolvedor concluiu um conjunto de dados de 160 GB contendo 40B de tokens com dados em inglês da Inglaterra e dos Estados Unidos entre 1800 e 1875. O autor treinou um modelo de avaliação de 500M parâmetros em uma amostra de 5B de tokens desta coleção.