media InfoQ · há 551 d

DeepSeek abre o código-fonte do LLM DeepSeek-R1 com desempenho comparável ao da OpenAI o1

Traduzido do English → Português (BR)

A DeepSeek abriu o código-fonte do DeepSeek-R1, um grande modelo de linguagem ajustado por meio de aprendizado por reforço para aprimorar as capacidades de raciocínio. O modelo alcança resultados equivalentes aos da OpenAI o1 em benchmarks como MATH-500 e SWE-bench.

Baseado na mistura de especialistas DeepSeek-V3, ele usa Group Relative Policy Optimization (GRPO) para treinamento.
A equipe abordou os problemas de "início a frio" do RL adicionando ajuste fino supervisionado com exemplos de cadeia de pensamento antes do aprendizado por reforço.
Versões destiladas para Qwen e Llama foram lançadas, superando modelos maiores como GPT-4 em tarefas de matemática e codificação.
DeepSeek-R1 ficou em #3 no geral na LMArena logo após o lançamento, liderando nas categorias de codificação e matemática.

A licença de código aberto permite usar as saídas do modelo para destilação, potencialmente avançando o estado da arte para modelos de linguagem de todos os tamanhos.

Importância 3/3 Supera um benchmark de um laboratório de ponta InfoQ DeepSeek Open weights Reasoning models

Ler original

DeepSeek-R1-0528 melhora o raciocínio e a precisão no AIME para 87,5%

A DeepSeek lançou o DeepSeek-R1-0528, uma atualização de versão menor que aprimora significativamente a profundidade do raciocínio e as capacidades de inferência por meio do aumento dos recursos computacionais e otimizações algorítmicas durante o pós-treinamento.

lab DeepSeek (Hugging Face) · há 503 d

DeepSeek-V3-0324 melhora raciocínio, programação e escrita em chinês em relação ao DeepSeek-V3

A DeepSeek lançou o DeepSeek-V3-0324, uma atualização do modelo que demonstra melhorias notáveis em relação ao seu antecessor, DeepSeek-V3, particularmente nas capacidades de raciocínio, executabilidade de código e proficiência na escrita em chinês.

lab DeepSeek (Hugging Face) · há 591 d

DeepSeek lança modelo de linguagem V3 MoE com 671B parâmetros

A DeepSeek lançou o DeepSeek-V3, um modelo de linguagem Mixture-of-Experts (MoE) com 671 bilhões de parâmetros totais e 37 bilhões ativados por token. O modelo é treinado em 14,8 trilhões de tokens e utiliza Multi-head Latent Attention e uma estratégia de balanceamento de carga sem perda auxiliar.

media The Batch · há 2 d · 1 visualização

DeepSeek lança V4-Flash-0731, superando o V4-Pro a um custo menor

A DeepSeek lançou o DeepSeek-V4-Flash-0731, uma versão atualizada de seu modelo "Flash" menor que supera o maior DeepSeek-V4-Pro em benchmarks independentes. O lançamento utiliza um novo processo de ajuste fino enquanto mantém a arquitetura original Mixture-of-Experts com 284 bilhões de parâmetros no total.

media r/LocalLLaMA · há 6 d · 16 visualizações

AI9Stars lança G9v3-39A5B, um modelo de pesos abertos com 39B parâmetros e 5 especialistas ativos

A AI9Stars lançou o G9v3-39A5B, um modelo de linguagem de pesos abertos projetado para oferecer capacidades de raciocínio mais fortes do que seu antecessor, ai9stars/G9v3-3B. O modelo possui 39 bilhões de parâmetros e 5 especialistas ativos e é licenciado sob Apache 2.0 para uso pessoal e comercial.