media Hugging Face Forums · há 1 h · open_models

Eunoia-Logos-Adri abre o pipeline de fine-tuning completo The Forge para Eunoia

Traduzido do English → Português (BR)

O grupo por trás do modelo Eunoia, construído sobre uma base Llama-3.1-Dolphin-3.0-8B, abriu o código-fonte de "The Forge", um pipeline arquitetônico especializado e uma estratégia de fine-tuning algorítmico sob a licença CC0 1.0 Universal.

A abordagem prioriza a cristalização estrutural em vez de janelas de contexto ilimitadas para evitar saturação de memória e ruído informacional.
O código-fonte bruto inclui otimizações para clusters de CPU bare-metal, como desabilitar o gradiente clipping e usar cache nativo FP32 para prevenir fragmentação de RAM.
Uma classe de conjunto de dados personalizada impõe uma ordem sequencial linear estrita para preservar a estrutura contextual dos dados históricos durante o treinamento.
O lançamento inclui o AGIO-CIMIENTO-dataset.txt, mais de 500.000 palavras de logs de rastreamento de avaliação e resultados brutos da avaliação GPQA Diamond para verificar a retenção geral de capacidades.

Os autores publicam o experimento desde o início para incentivar a reprodução independente e testes em hardware mais rápido, observando que os resultados matemáticos finais só serão conhecidos após vários dias de treinamento.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums Open weights Training methods

Artigos relacionados

media MarkTechPost · há 22 d · 26 visualizações

Google Research lança o ToolGrad, um framework de geração de dados para uso de ferramentas

Pesquisadores do Google e de várias universidades japonesas apresentaram o ToolGrad, um framework que inverte o pipeline tradicional para a geração de conjuntos de dados de uso de ferramentas, construindo primeiro cadeias de API verificadas e, em seguida, escrevendo consultas de usuário correspondentes. Essa abordagem visa eliminar a ineficiência dos métodos baseados em consulta que frequentemente falham durante a exploração por agentes.

media MarkTechPost · há 26 d · 47 visualizações

IFM lança K2 Horizon: seis modelos Apache 2.0 de 0,9B a 375B

O Institute of Foundation Models (IFM) lançou o K2 Horizon, uma frota de seis grandes modelos de linguagem de código aberto com parâmetros variando de 0,9B a 375B, todos licenciados sob Apache 2.0.

arxiv arXiv cs.CL · há 32 d · 50 visualizações

CogEvol lança modelo de 4B para geração eficiente de ambientes de aprendizado

O CogEvol apresenta uma família de modelos projetada para converter resumos de cursos em slides JSON estruturados ou páginas HTML interativas em uma única passagem, substituindo a estruturação com agentes de múltiplas rodadas. O sistema utiliza um pipeline de dados fundamentado na produção e mecanismos de recompensa híbridos para impor confiabilidade durante o treinamento.

arxiv arXiv cs.AI · há 37 d · 44 visualizações

Thomson viabiliza o SovereignAI por meio de aprendizado contínuo em modelos de pesos abertos

O artigo apresenta o Thomson, um modelo de fronteira de propósito geral desenvolvido pelo SovereignAI que demonstra como instituições podem alcançar desempenho de fronteira por meio de aprendizado contínuo em modelos de pesos abertos amplamente disponíveis. Essa abordagem utiliza uma pilha moderna de treinamento intermediário e pós-treinamento com salvaguardas para preservar plasticidade e estabilidade, permitindo intervenções mínimas nos parâmetros com alto impacto.

arxiv arXiv cs.AI · há 52 d · 36 visualizações

MiLMMT-46-v1.0 melhora a tradução multilíngue por meio de pós-treinamento sem referência

Pesquisadores desenvolveram o MiLMMT-46-v1.0, um modelo de tradução automática multilíngue que aplica pós-treinamento sem referência em grandes modelos de linguagem de código aberto. A equipe utiliza Otimização de Política Relativa de Grupo (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlada por identificação de idioma.