arxiv arXiv cs.CL · hace 18 h · research

Pangram Labs descubre que el texto de IA "salvaje" perjudica el preentrenamiento y propone una nueva ley de escalado

Traducido del English → Español

Un estudio de Pangram Labs sobre 800 modelos de lenguaje preentrenados revela que el texto web generado por IA "salvaje", que ahora compone más del 31% de los datos web recientes, afecta negativamente el rendimiento del modelo cuando el objetivo es procesar texto humano. La investigación demuestra que, aunque pequeñas cantidades de tokens de IA pueden ayudar inicialmente a los modelos con escasez de datos, rápidamente se revierten en perjuicio a medida que aumenta su proporción.

Para los modelos entrenados con grandes presupuestos de texto humano, agregar tokens de IA eleva la pérdida casi de inmediato, mientras que los tokens humanos frescos continúan reduciéndola.
Las leyes de escalado existentes fallan al predecir este comportamiento; los autores proponen una nueva ley con términos separados de beneficio y perjuicio que reduce el error de predicción en un 41% en comparación con los métodos existentes.
El estudio recomienda filtrar el texto de IA para los modelos dirigidos a humanos, repetir el texto humano antes de agregar datos de IA e informar la pérdida de validación en el texto humano y de IA por separado.

Los hallazgos sugieren que el texto de IA sigue siendo valioso solo cuando el objetivo es el texto de IA, pero debe filtrarse o manejarse con cuidado al entrenar para tareas centradas en humanos. Los autores publican WildAI, un corpus de 83B tokens con etiquetas, junto con el código y los pesos del modelo.

Importancia 2/3 arXiv cs.CL Research paper Training data

Artículos relacionados

arxiv arXiv cs.LG · hace 15 h · 1 vista

Pangram Labs descubre que el texto de IA salvaje perjudica el preentrenamiento y propone una nueva ley de escalado

Un estudio de Pangram Labs sobre texto web generado por IA "salvaje" revela que añadir estos tokens a los datos de preentrenamiento inicialmente reduce la pérdida en texto humano, pero rápidamente se invierte en perjuicio a medida que aumenta la proporción. Los investigadores preentrenaron 800 modelos de lenguaje para derivar una nueva ley de escalado que tenga en cuenta esta dinámica, que las leyes existentes como Chinchilla no logran predecir.

arxiv arXiv cs.LG · hace 78 d · 19 vistas

CSFS reduce el costo de selección de características para la predicción de energía eólica y solar en un 21%

Los investigadores proponen la Selección Secuencial de Características basada en Clústeres (CSFS), un nuevo método envolvente basado en clústeres para la selección automática y eficiente de características en pipelines de predicción de energías renovables. El enfoque aborda la falta de métodos sistemáticos para seleccionar características de entrada entre el gran número de variables de monitoreo y ambientales disponibles.

arxiv arXiv cs.AI · hace 78 d · 18 vistas

CSFS reduce el costo computacional en un 21% en la predicción de energía renovable

Los investigadores proponen la Selección Secuencial de Características Basada en Clusters (CSFS), un nuevo método envoltorio agnóstico al modelo diseñado para abordar la falta de selección sistemática de características en la predicción de potencia eólica y solar. El enfoque tiene como objetivo proporcionar una selección automática, eficiente y confiable de características para los flujos de trabajo de energía renovable.

arxiv arXiv cs.AI · hace 78 d · 16 vistas

FormalAnalyticGeo genera problemas de geometría analítica multimodal mediante un pipeline neural-simbólico

Los investigadores presentan FormalAnalyticGeo, un marco escalable para la generación completamente automática de problemas de geometría analítica multimodal que elimina la necesidad de anotación humana. El sistema utiliza una representación intermedia formal llamada CDL para conectar el texto del problema con la renderización precisa de diagramas a través de un motor de Campo de Distancia Firmada.

arxiv arXiv cs.CL · hace 80 d · 16 vistas

El estudio encuentra una pequeña tendencia negativa en la composicionalidad de las compuestas alemanas e inglesas a lo largo del tiempo

Los investigadores investigan el cambio semántico en 23 compuestos nominales alemanes y 26 ingleses introduciendo la tarea de Predicción de Tendencia de Composicionalidad, evaluada contra un nuevo conjunto de datos de calificaciones diacrónicas por década. Contrario a la literatura que postula una tendencia decisiva hacia que las compuestas se vuelvan menos composicionales, el estudio encuentra solo una pequeña tendencia negativa con el tiempo.