arxiv arXiv cs.LG · hace 15 h · research

Pangram Labs descubre que el texto de IA salvaje perjudica el preentrenamiento y propone una nueva ley de escalado

Traducido del English → Español

Un estudio de Pangram Labs sobre texto web generado por IA "salvaje" revela que añadir estos tokens a los datos de preentrenamiento inicialmente reduce la pérdida en texto humano, pero rápidamente se invierte en perjuicio a medida que aumenta la proporción. Los investigadores preentrenaron 800 modelos de lenguaje para derivar una nueva ley de escalado que tenga en cuenta esta dinámica, que las leyes existentes como Chinchilla no logran predecir.

El análisis de los datos de FineWeb muestra que los tokens generados por IA aumentaron del 27.5% en junio de 2026 al 31.1% para agosto.
Para modelos con escasez de datos, los tokens de IA añadidos reducen inicialmente la pérdida del texto humano pero se saturan y luego la aumentan.
Los modelos entrenados con grandes presupuestos de texto humano ven aumentar su pérdida casi inmediatamente al añadir tokens de IA.
La nueva ley de escalado predice la pérdida de texto humano en datos no vistos para modelos hasta 3.6 veces más grandes, con un error 41% menor que las leyes existentes.

Los autores recomiendan filtrar el texto de IA cuando el objetivo es el texto humano, repetir el texto humano antes de expandir los conjuntos de datos con contenido generado por IA, e informar la pérdida de validación en texto humano y texto AI por separado.

Importancia 2/3 arXiv cs.LG Research paper Training data

Artículos relacionados

arxiv arXiv cs.CL · hace 18 h · 2 vistas

Pangram Labs descubre que el texto de IA "salvaje" perjudica el preentrenamiento y propone una nueva ley de escalado

Un estudio de Pangram Labs sobre 800 modelos de lenguaje preentrenados revela que el texto web generado por IA "salvaje", que ahora compone más del 31% de los datos web recientes, afecta negativamente el rendimiento del modelo cuando el objetivo es procesar texto humano. La investigación demuestra que, aunque pequeñas cantidades de tokens de IA pueden ayudar inicialmente a los modelos con escasez de datos, rápidamente se revierten en perjuicio a medida que aumenta su proporción.

arxiv arXiv cs.LG · hace 78 d · 19 vistas

CSFS reduce el costo de selección de características para la predicción de energía eólica y solar en un 21%

Los investigadores proponen la Selección Secuencial de Características basada en Clústeres (CSFS), un nuevo método envolvente basado en clústeres para la selección automática y eficiente de características en pipelines de predicción de energías renovables. El enfoque aborda la falta de métodos sistemáticos para seleccionar características de entrada entre el gran número de variables de monitoreo y ambientales disponibles.

arxiv arXiv cs.AI · hace 78 d · 18 vistas

CSFS reduce el costo computacional en un 21% en la predicción de energía renovable

Los investigadores proponen la Selección Secuencial de Características Basada en Clusters (CSFS), un nuevo método envoltorio agnóstico al modelo diseñado para abordar la falta de selección sistemática de características en la predicción de potencia eólica y solar. El enfoque tiene como objetivo proporcionar una selección automática, eficiente y confiable de características para los flujos de trabajo de energía renovable.

arxiv arXiv cs.AI · hace 78 d · 16 vistas

FormalAnalyticGeo genera problemas de geometría analítica multimodal mediante un pipeline neural-simbólico

Los investigadores presentan FormalAnalyticGeo, un marco escalable para la generación completamente automática de problemas de geometría analítica multimodal que elimina la necesidad de anotación humana. El sistema utiliza una representación intermedia formal llamada CDL para conectar el texto del problema con la renderización precisa de diagramas a través de un motor de Campo de Distancia Firmada.

arxiv arXiv cs.CL · hace 80 d · 16 vistas

El estudio encuentra una pequeña tendencia negativa en la composicionalidad de las compuestas alemanas e inglesas a lo largo del tiempo

Los investigadores investigan el cambio semántico en 23 compuestos nominales alemanes y 26 ingleses introduciendo la tarea de Predicción de Tendencia de Composicionalidad, evaluada contra un nuevo conjunto de datos de calificaciones diacrónicas por década. Contrario a la literatura que postula una tendencia decisiva hacia que las compuestas se vuelvan menos composicionales, el estudio encuentra solo una pequeña tendencia negativa con el tiempo.