media Hugging Face Forums · agora mesmo · open_models

ByteLex usa mapa de tokenizador para prever e corrigir erros do modelo de bytes

Traduzido do English → Português (BR)

Pesquisadores do ByteLex construíram um espaço de coordenadas a partir de 11 vocabulários de tokenizadores para prever em quais palavras inventadas seu modelo de linguagem em nível de byte falharia. O mapa alcançou uma correlação de Spearman de -0.98 com a precisão por palavra medida do modelo, superando estatísticas derivadas de corpus.

O modelo é um modelo de linguagem em nível de bytes de 237M parâmetros treinado em UTF-8 bruto sem tokenização.
Os erros foram encontrados para depender principalmente do primeiro byte, onde as priors de bytes em inglês sequestram a resposta.
O mapa foi usado para gerar dados de treinamento direcionados para os pontos fracos previstos.
A precisão em dados não vistos melhorou de .53/.40 para .84/.79 após aplicar a correção.

Esta abordagem permite que desenvolvedores identifiquem e corrijam modos de falha específicos em modelos sem tokenizador usando apenas análise estrutural dos tokenizadores existentes.

Importância 1/3 Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Training methods

Ler original

metrictrust detecta quando as métricas de validação não são confiáveis durante o treinamento

O autor desenvolveu o metrictrust, uma ferramenta Python leve que monitora execuções de treinamento para determinar se as métricas finais de validação devem ser confiáveis. Ela aborda problemas comuns, como manter checkpoints subótimos, superestimar o desempenho devido à memorização e confiar em resultados oscilantes e ruidosos.

arxiv arXiv cs.CL · há 63 d · 13 visualizações

CARE-PPO permite o aprendizado conjunto de previsões precisas e confiança confiável em tarefas quantitativas baseadas em linguagem

Pesquisadores introduzem o CARE-PPO, um framework de aprendizado por reforço que conecta a previsão de perda para estimativa de incerteza com o ajuste fino PPO actor-critic. Esta abordagem permite o aprendizado conjunto de estimativas numéricas precisas e sinais de confiança confiáveis na previsão quantitativa baseada em linguagem a partir de entradas não estruturadas.

arxiv arXiv cs.CL · há 78 d · 11 visualizações

REAR: Realinhamento de Preferência em Tempo de Teste através da Decomposição de Recompensa

Os autores apresentam o REAR, um novo framework que estende o scaling em tempo de teste (TTS) para alinhamento de preferências, modelando a tarefa como um problema de realinhamento. Esta abordagem aborda a limitação dos métodos TTS existentes, que são tipicamente restritos a domínios verificáveis como matemática e programação.

media Hugging Face Forums · há 79 d · 17 visualizações

Experiência prática com surrogate de ML para simulações CFD e FEA?

Um profissional de simulação de engenharia busca experiências reais de implantação de surrogates de machine learning para reduzir o custo de execuções caras de solucionadores de Dinâmica dos Fluidos Computacional (CFD) e Análise por Elementos Finitos (FEA).

arxiv arXiv cs.LG · há 9 h · 2 visualizações

OpenAI lança Open-1B com treinamento totalmente auditável

A OpenAI lançou o Open-1B, um modelo de linguagem treinado sob um regime onde cada operação durante o treinamento é reproduzível independentemente em hardware comercial heterogêneo com certeza bit a bit. Esta abordagem aborda os problemas de reprodutibilidade inerentes aos modelos de código aberto ao impor uma ordem definida sobre as fontes de não determinismo, como reduções de kernels de GPU e ordenação de lotes de dados.