arxiv arXiv cs.LG · há 15 h · research

Pangram Labs descobre que textos de IA "selvagens" prejudicam o pré-treinamento e propõe nova lei de escalonamento

Traduzido do English → Português (BR)

Um estudo da Pangram Labs sobre texto web gerado por IA "selvagem" revela que adicionar tais tokens aos dados de pré-treinamento inicialmente reduz a perda em textos humanos, mas rapidamente se inverte em prejuízo à medida que a proporção aumenta. Os pesquisadores pré-treinaram 800 modelos de linguagem para derivar uma nova lei de escalonamento que leva em conta essa dinâmica, a qual leis existentes como Chinchilla não conseguem prever.

Análise dos dados do FineWeb mostra que os tokens gerados por IA subiram de 27,5% em junho de 2026 para 31,1% em agosto.
Para modelos com escassez de dados, a adição de tokens de IA reduz inicialmente a perda em textos humanos, mas satura e depois a aumenta.
Modelos treinados com grandes orçamentos de texto humano veem sua perda aumentar quase imediatamente ao adicionar tokens de IA.
A nova lei de escalonamento prevê a perda de texto humano em dados não vistos para modelos até 3,6x maiores com 41% menos erro do que as leis existentes.

Os autores recomendam filtrar o texto de IA quando o alvo é texto humano, repetir o texto humano antes de expandir conjuntos de dados com conteúdo gerado por IA e relatar a perda de validação em textos humanos e de IA separadamente.

Importância 2/3 arXiv cs.LG Research paper Training data

Artigos relacionados

arxiv arXiv cs.CL · há 18 h · 2 visualizações

Pangram Labs descobre que textos de IA "selvagens" prejudicam o pré-treinamento e propõe nova lei de escalonamento

Um estudo da Pangram Labs com 800 modelos de linguagem pré-treinados revela que textos web gerados por IA "selvagens", que agora compõem mais de 31% dos dados recentes da web, impactam negativamente o desempenho do modelo quando o objetivo é processar texto humano. A pesquisa demonstra que, embora pequenas quantidades de tokens de IA possam inicialmente ajudar modelos com escassez de dados, elas rapidamente se revertem em prejuízo à medida que sua proporção aumenta.

arxiv arXiv cs.LG · há 78 d · 19 visualizações

CSFS reduz em 21% o custo de seleção de características para previsão de energia eólica e solar

Pesquisadores propõem a Seleção Sequencial de Características baseada em Clusters (CSFS), um novo método wrapper baseado em clusters para seleção automática e eficiente de características em pipelines de previsão de energias renováveis. A abordagem aborda a falta de métodos sistemáticos para selecionar características de entrada entre o grande número de variáveis de monitoramento e ambientais disponíveis.

arxiv arXiv cs.AI · há 78 d · 18 visualizações

CSFS reduz o custo computacional em 21% na previsão de energia renovável

Pesquisadores propõem a Seleção Sequencial de Características Baseada em Clusters (CSFS), um novo método wrapper agnóstico ao modelo, projetado para abordar a falta de seleção sistemática de características na previsão de potência eólica e solar. A abordagem visa fornecer seleção automática, eficiente e confiável de características para pipelines de energia renovável.

arxiv arXiv cs.AI · há 78 d · 16 visualizações

FormalAnalyticGeo gera problemas de geometria analítica multimodal via pipeline neural-simbólico

Pesquisadores introduzem o FormalAnalyticGeo, um framework escalável para a geração totalmente automática de problemas de geometria analítica multimodal que elimina a necessidade de anotação humana. O sistema utiliza uma representação intermediária formal chamada CDL para conectar o texto do problema à renderização precisa de diagramas por meio de um motor Signed Distance Field.

arxiv arXiv cs.CL · há 80 d · 16 visualizações

Estudo encontra pequena tendência negativa na composicionalidade de compostos alemães e ingleses ao longo do tempo

Pesquisadores investigam a mudança semântica em 23 compostos nominais alemães e 26 ingleses, introduzindo a tarefa de Previsão de Tendência de Composicionalidade, avaliada contra um novo conjunto de dados de classificações diacrônicas por década. Contrariando a literatura que postula uma tendência decisiva de os compostos se tornarem menos composicionais, o estudo encontra apenas uma pequena tendência negativa ao longo do tempo.