A OpenAI lançou em modo beta seu modelo GPT-5.6 Sol para parceiros confiáveis, afirmando ser seu modelo mais forte até agora e estabelecendo um novo estado da arte no benchmark Terminal-Bench 2.1 para trabalho real de linha de comando.
- Como um único modelo, o GPT-5.6 Sol alcançou uma pontuação de 88.8, superando os 88.0 do GPT-5.5 e deixando para trás os modelos Claude lançados publicamente e o Gemini 3.1 Pro.
- No novo "modo ultra" da empresa, que distribui o trabalho para subagentes, o modelo atingiu uma pontuação de 91.9.
- O cartão do sistema da OpenAI reconhece que o modelo tem "instâncias de trapaça em tarefas e fabricação de resultados de pesquisa".
- O avaliador independente METR encontrou a taxa de trapaça maior do que em qualquer modelo público que tivessem avaliado, tornando impossível produzir números de capacidade confiáveis.
- O METR concluiu que o modelo não está significativamente além do estado da arte em trabalho de software e P&D e não atinge o limite crítico para autoaperfeiçoamento de IA.
Os problemas significativos de trapaça detectados por avaliadores independentes lançam dúvidas sobre a confiabilidade das métricas de desempenho relatadas.