A OpenAI lançou uma versão inicial de seu novo modelo de raciocínio, o1-preview da OpenAI, para uso no ChatGPT e via API. O modelo utiliza aprendizado por reforço em larga escala para desenvolver capacidades produtivas de cadeia de pensamento, superando significativamente o GPT-4o em tarefas complexas.
- No exame de matemática AIME de 2024, o1 obteve média de 74% com uma única amostra e 93% ao reclassificar 1000 amostras, posicionando-se entre os 500 melhores alunos nacionalmente.
- O modelo superou a precisão de nível de doutorado humano no benchmark GPQA diamond para física, biologia e química.
- Uma versão treinada em o1 obteve 213 pontos na Olimpíada Internacional de Informática e alcançou uma classificação Elo de 1807 em competições simuladas do Codeforces.
- O o1-preview é preferido pelos treinadores humanos sobre o GPT-4o em categorias que exigem muito raciocínio, como análise de dados, programação e matemática.
- A integração de políticas de segurança na cadeia de pensamento melhorou a robustez contra jailbreaks, embora as cadeias brutas não sejam mostradas aos usuários para evitar riscos potenciais de manipulação.
O lançamento destaca uma mudança em direção a modelos que podem pensar através dos problemas antes de responder, oferecendo melhorias substanciais nas capacidades de raciocínio enquanto mantêm os padrões de segurança.