media Hugging Face Forums · à l'instant · open_models

ByteLex utilise la carte du tokeniser pour prédire et corriger les erreurs du modèle de bytes

Traduit de English → Français

Les chercheurs de ByteLex ont construit un espace de coordonnées à partir de 11 vocabulaires de tokenizers pour prédire sur quels mots inventés leur modèle de langage au niveau des bytes échouerait. La carte a obtenu une corrélation de Spearman de -0.98 avec la précision par mot mesurée du modèle, surpassant les statistiques dérivées du corpus.

Le modèle est un modèle de langage au niveau des bytes de 237M paramètres entraîné sur de l'UTF-8 brut sans tokenization.
Les erreurs se sont avérées dépendre principalement du premier byte, où les priors de bytes en anglais détournent la réponse.
La carte a été utilisée pour générer des données d'entraînement ciblées pour les points faibles prédits.
La précision sur l'ensemble retenu s'est améliorée de .53/.40 à .84/.79 après application de la correction.

Cette approche permet aux développeurs d'identifier et de corriger des modes de défaillance spécifiques dans les modèles sans tokenizer en utilisant uniquement l'analyse structurelle des tokenizers existants.

Importance 1/3 Confiance 1/3 Hugging Face Forums Evaluation & benchmarks Training methods

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 23 j · 28 vues

metrictrust détecte quand les métriques de validation ne sont pas fiables pendant l'entraînement

L'auteur a développé metrictrust, un outil Python léger qui surveille les exécutions d'entraînement pour déterminer si les métriques de validation finales doivent être prises au sérieux. Il traite des problèmes courants tels que la conservation de points de contrôle sous-optimaux, la surestimation des performances due à la mémorisation et la dépendance à des résultats bruités et oscillants.

arxiv arXiv cs.CL · il y a 63 j · 13 vues

CARE-PPO permet l'apprentissage conjoint de prédictions précises et d'une confiance fiable dans les tâches quantitatives basées sur le langage

Les chercheurs présentent CARE-PPO, un cadre d'apprentissage par renforcement qui relie la prédiction de perte pour l'estimation de l'incertitude au réglage fin PPO actor-critic. Cette approche permet l'apprentissage conjoint d'estimations numériques précises et de signaux de confiance fiables dans la prédiction quantitative basée sur le langage à partir d'entrées non structurées.

arxiv arXiv cs.CL · il y a 78 j · 11 vues

REAR : Réalignement des préférences au moment du test par décomposition du récompense

Les auteurs présentent REAR, un nouveau cadre qui étend le scaling au moment du test (TTS) à l'alignement des préférences en modélisant la tâche comme un problème de réalignment. Cette approche comble la limite des méthodes TTS existantes, généralement restreintes aux domaines vérifiables tels que les mathématiques et la programmation.

media Hugging Face Forums · il y a 79 j · 17 vues

Expérience pratique avec les surrogats ML pour les simulations CFD et FEA ?

Un professionnel de la simulation ingénierie cherche des expériences de déploiement en conditions réelles d'approximateurs (surrogates) basés sur le machine learning pour réduire le coût des exécutions coûteuses de solveurs de Dynamique des Fluides Numérique (CFD) et d'Analyse par Éléments Finis (FEA).

arxiv arXiv cs.LG · il y a 9 h · 2 vues

OpenAI publie Open-1B avec un entraînement entièrement auditable

OpenAI a publié Open-1B, un modèle de langage entraîné selon un régime où chaque opération pendant l'entraînement est reproductible indépendamment sur du matériel hétérogène standard avec une certitude bit à bit. Cette approche traite des problèmes de reproductibilité inhérents aux modèles open-source en imposant un ordre défini aux sources de non-déterminisme, telles que les réductions de noyaux GPU et l'ordre des lots de données.