arxiv Moonshot AI (arXiv) · há 635 d

DeepSeek-V3: modelo MoE de 671B com balanceamento sem perda auxiliar

Traduzido do English → Português (BR)

A DeepSeek-AI apresenta o DeepSeek-V3, um poderoso modelo de linguagem Mixture-of-Experts com 671B de parâmetros totais e 37B ativados por token. O modelo adota as arquiteturas Multi-head Latent Attention e DeepSeekMoE para alcançar inferência eficiente e treinamento economicamente viável.

O DeepSeek-V3 inaugura uma estratégia sem perda auxiliar para balanceamento de carga, visando minimizar a degradação do desempenho.
Ele emprega um objetivo de treinamento de previsão multi-token para melhorar o desempenho geral nos benchmarks.
A equipe valida pela primeira vez o treinamento de precisão mista FP8 em um modelo de escala extremamente grande.
O treinamento utilizou 14,8 trilhões de tokens e custou apenas 2,788M horas de GPU H800, totalizando aproximadamente US$ 5,576 milhões.
As avaliações mostram que ele supera outros modelos de código aberto e iguala os principais modelos fechados, como GPT-4o e Claude-3.5-Sonnet.

O relatório enfatiza que o DeepSeek-V3 alcança um desempenho forte comparável aos modelos fechados de ponta, mantendo custos de treinamento e estabilidade notavelmente baixos.

Importância 3/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Artigos relacionados

arxiv Moonshot AI (arXiv) · há 609 d · 16 visualizações

DeepSeek-R1 incentiva o raciocínio de LLMs por meio de aprendizado por reforço

A DeepSeek lançou o DeepSeek-R1, um modelo de linguagem grande treinado usando aprendizado por reforço puro para aprimorar suas capacidades de raciocínio sem depender de demonstrações anotadas por humanos.

arxiv Moonshot AI (arXiv) · há 609 d · 32 visualizações

DeepSeek lança modelos de raciocínio R1 por meio de aprendizado por reforço

A DeepSeek apresenta seus modelos de raciocínio de primeira geração, DeepSeek-R1-Zero e DeepSeek-R1, que alcançam desempenho comparável ao OpenAI-o1-1217 em tarefas de raciocínio. O DeepSeek-R1-Zero é treinado por meio de aprendizado por reforço em larga escala, sem ajuste fino supervisionado, enquanto o DeepSeek-R1 utiliza um pipeline multiestágio com dados de inicialização a frio para melhorar a legibilidade.

arxiv arXiv cs.LG · há 1 d · 10 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar o raciocínio diagnóstico e clínico na saúde. A estrutura de treinamento primeiro aplica RL guiado por regras a perguntas derivadas do MedBullets para diagnóstico, depois utiliza 5.3k cenários sintéticos multi-turno com rubricas multidimensionais para tarefas clínicas interativas.

arxiv arXiv cs.AI · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde. A estrutura de treinamento primeiro visa a precisão diagnóstica usando perguntas derivadas do MedBullets e depois aborda interações clínicas multironda através de 5.3k cenários gerados com rubricas multidimensionais.

arxiv arXiv cs.CL · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde.