arxiv arXiv cs.LG · il y a 15 h · research

Pangram Labs découvre que les textes IA sauvages nuisent au pré-entraînement et propose une nouvelle loi d'échelle

Traduit de English → Français

Une étude de Pangram Labs sur le texte web généré par IA « sauvage » révèle que l'ajout de tels tokens aux données de pré-entraînement réduit initialement la perte sur le texte humain, mais s'inverse rapidement en nuisance à mesure que le ratio augmente. Les chercheurs ont pré-entraîné 800 modèles linguistiques pour déduire une nouvelle loi d'échelle qui tient compte de cette dynamique, que les lois existantes comme Chinchilla ne parviennent pas à prédire.

L'analyse des données FineWeb montre que les tokens générés par IA sont passés de 27,5 % en juin 2026 à 31,1 % en août.
Pour les modèles affamés en données, l'ajout de tokens IA réduit initialement la perte sur le texte humain, mais sature puis l'augmente.
Les modèles entraînés avec de gros budgets en texte humain voient leur perte augmenter presque immédiatement dès l'ajout de tokens IA.
La nouvelle loi d'échelle prédit la perte sur le texte humain hors ensemble pour des modèles jusqu'à 3,6 fois plus grands, avec une erreur de 41 % inférieure à celle des lois existantes.

Les auteurs recommandent de filtrer le texte IA lorsque l'objectif est le texte humain, de répéter le texte humain avant d'étendre les ensembles de données avec du contenu généré par IA, et de rapporter la perte de validation sur le texte humain et le texte IA séparément.

Importance 2/3 arXiv cs.LG Research paper Training data

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 18 h · 2 vues

Pangram Labs découvre que les textes IA sauvages nuisent au pré-entraînement et propose une nouvelle loi d'échelle

Une étude de Pangram Labs portant sur 800 modèles de langage pré-entraînés révèle que le texte web généré par l'IA « sauvage », qui représente désormais plus de 31 % des données web récentes, affecte négativement les performances des modèles lorsque l'objectif est de traiter du texte humain. La recherche démontre que si de petites quantités de tokens IA peuvent initialement aider les modèles affamés de données, elles se transforment rapidement en nuisance à mesure que leur proportion augmente.

arxiv arXiv cs.LG · il y a 78 j · 19 vues

CSFS réduit de 21 % le coût de sélection des caractéristiques pour la prédiction de l'énergie éolienne et solaire

Les chercheurs proposent Cluster-based Sequential Feature Selection (CSFS), une nouvelle méthode wrapper basée sur le clustering pour la sélection automatique et efficace des caractéristiques dans les pipelines de prédiction des énergies renouvelables. Cette approche répond au manque de méthodes systématiques pour sélectionner les caractéristiques d'entrée parmi le grand nombre de variables de surveillance et environnementales disponibles.

arxiv arXiv cs.AI · il y a 78 j · 18 vues

CSFS réduit le coût computationnel de 21 % dans la prédiction des énergies renouvelables

Les chercheurs proposent la Sélection Séquentielle de Caractéristiques basée sur des Clusters (CSFS), une nouvelle méthode wrapper indépendante du modèle conçue pour pallier l'absence de sélection systématique de caractéristiques dans la prédiction de la puissance éolienne et solaire. L'approche vise à fournir une sélection automatique, efficace et fiable de caractéristiques pour les pipelines d'énergies renouvelables.

arxiv arXiv cs.AI · il y a 78 j · 16 vues

FormalAnalyticGeo génère des problèmes de géométrie analytique multimodale via un pipeline neuro-symbolique

Les chercheurs présentent FormalAnalyticGeo, un framework évolutif pour la génération entièrement automatique de problèmes de géométrie analytique multimodale qui élimine le besoin d'annotation humaine. Le système utilise une représentation intermédiaire formelle appelée CDL pour relier le texte du problème au rendu précis du diagramme via un moteur de Champ de Distance Signé.

arxiv arXiv cs.CL · il y a 80 j · 16 vues

Une étude révèle une légère tendance négative dans la compositionnalité des composés allemands et anglais au fil du temps

Les chercheurs ont étudié le changement sémantique dans 23 composés nominaux allemands et 26 anglais en introduisant la tâche de prédiction de tendance de compositionnalité (Compositionality Trend Prediction), évaluée contre un nouvel ensemble de données de notes diachroniques par décennie. Contrairement à la littérature qui postule une tendance décisive des composés à devenir moins compositionnels, l'étude ne trouve qu'une petite tendance négative au fil du temps.