DeepSeek lança modelos de raciocínio R1 por meio de aprendizado por reforço

A DeepSeek apresenta seus modelos de raciocínio de primeira geração, DeepSeek-R1-Zero e DeepSeek-R1, que alcançam desempenho comparável ao OpenAI-o1-1217 em tarefas de raciocínio. O DeepSeek-R1-Zero é treinado por meio de aprendizado por reforço em larga escala, sem ajuste fino supervisionado, enquanto o DeepSeek-R1 utiliza um pipeline multiestágio com dados de inicialização a frio para melhorar a legibilidade.

• O DeepSeek-R1-Zero desenvolve naturalmente comportamentos de raciocínio, como autoverificação e geração de longas cadeias de pensamento, por meio de RL puro.
• O DeepSeek-R1 alcança 79,8% de Pass@1 no AIME 2024, superando o OpenAI-o1-1217, e obtém 97,3% no MATH-500.
• A equipe disponibiliza como código aberto seis modelos densos (de 1,5B a 70B) destilados do DeepSeek-R1 com base nas arquiteturas Qwen e Llama.
• Modelos destilados como o DeepSeek-R1-Distill-Qwen-32B estabelecem novos recordes entre modelos densos, superando concorrentes anteriores de código aberto.

O lançamento fornece à comunidade de pesquisa checkpoints de código aberto e uma API para facilitar o desenvolvimento contínuo de modelos de raciocínio menores e poderosos.