media Hugging Face Forums · hace 7 h · open_models

Tutorial: Construye y entrena un tokenizador BPE a nivel de bytes desde cero

Traducido del English → Español

Un nuevo tutorial documenta el proceso paso a paso para construir y entrenar un tokenizador BPE a nivel de bytes desde los primeros principios. La guía cubre detalles clave de implementación como la pre-tokenización consciente de Unicode, actualizaciones incrementales de frecuencia de pares y el uso de un montículo máximo con eliminación diferida.

El entrenamiento comienza con 256 tokens de bytes sin procesar y aprende fusiones en texto multilingüe.
Se implementa un índice invertido par-a-pretoken para optimizar el proceso de entrenamiento.
El modelo se entrenó con 100 MiB de datos mC4 en ocho idiomas.
Esto resulta en un vocabulario de 8.192 tokens con 7.936 fusiones aprendidas.
El entrenamiento tomó aproximadamente una hora en un M2 Pro de 12 núcleos con 32 GB de memoria.

El autor proporciona el código fuente completo y explicaciones a través de un repositorio de GitHub e incluye una demostración en vivo para que los usuarios interactúen con el tokenizador personalizado.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Training data Training methods

Artículos relacionados

media Hugging Face Forums · hace 11 d · 9 vistas

Discusión sobre Parsewave y la calidad frente a la escala en los datos de post-entrenamiento

El artículo discute el rendimiento decreciente al aumentar el volumen de datos de post-entrenamiento a medida que mejoran los modelos, sugiriendo un cambio hacia conjuntos de datos de mayor calidad. Destaca Parsewave, que genera datos de post-entrenamiento a partir de problemas de ingeniería del mundo real junto con trazas de evaluación.

media Hugging Face Forums · hace 46 d · 7 vistas

Discusión sobre el manejo de cuellos de botella de datos en simulaciones de ML científico

Un usuario comparte su experiencia con el costo computacional de generar conjuntos de datos de entrenamiento a partir de simulaciones físicas, como flujo de fluidos y campos estructurales. Destaca que el desafío principal no es la arquitectura del modelo, sino la dificultad de construir un conjunto de datos grande y diverso cuando cada muestra es costosa de producir.

arxiv arXiv cs.LG · hace 49 d · 5 vistas

El estudio deriva una fórmula empírica para estimar el tamaño del conjunto de entrenamiento para la clasificación con sensores inerciales

Los investigadores presentan una evaluación empírica sistemática de las tasas de convergencia de las curvas de aprendizaje para abordar la falta de pautas basadas en datos para determinar tamaños mínimos de muestra en tareas de clasificación basadas en sensores inerciales.

arxiv arXiv cs.AI · hace 51 d · 7 vistas

Un estudio revela la compensación entre superposición y pausa en datos de entrenamiento ASR sintéticos

Un estudio investiga el ritmo conversacional como una variable controlable para entrenar conversaciones multi-orador sintéticas en reconocimiento automático del habla (ASR). Los investigadores parametrizaron las distribuciones de pausa y superposición utilizando una familia de inclinación exponencial y exploraron el espacio resultante de cuatro dimensiones mediante muestreo hipercúbico latino y optimización bayesiana multiobjetivo.

media r/LocalLLaMA · hace 52 d · 3 vistas

TimeCapsuleLLM: entrenamiento de un modelo de 500M parámetros con textos en inglés del siglo XIX

Un desarrollador ha completado un conjunto de datos de 160 GB que contiene 40B de tokens con datos en inglés de Inglaterra y Estados Unidos entre 1800 y 1875. El autor entrenó un modelo de evaluación de 500M parámetros sobre una muestra de 5B de tokens de esta colección.