media 1AI.net · há 816 d

OpenAI testou secretamente o GPT-4o na Chatbot Arena, liderando o ranking

Traduzido do English → Português (BR)

O funcionário da OpenAI William Fedus confirmou que o chatbot misterioso "gpt-chatbot" que aparece no ranking da Chatbot Arena é uma versão pré-lançamento do recém-lançado modelo GPT-4o. O modelo alcançou a maior pontuação já registrada na plataforma durante esses testes secretos.

A OpenAI testou várias versões do GPT-4o na arena a partir de abril, usando aliases como "gpt2-chatbot" e "im-also-a-good-gpt2-chatbot".
Após o lançamento, o GPT-4o superou os modelos topo anteriores Claude 3 Opus e GPT-4 Turbo por uma margem significativa de aproximadamente 50 pontos Elo.
Até o fechamento desta matéria, o modelo de teste mantinha uma pontuação Elo de 1309, comparado a 1253 do GPT-4-Turbo-2023-04-09 e 1246 do Claude 3 Opus.

A conta oficial da LMSYS observou que a versão pública do GPT-4o agora entrou na arena e em breve aparecerá no ranking público.

Importância 3/3 Supera um benchmark de um laboratório de ponta 1AI.net OpenAI Benchmark results

Benchmarks

Benchmark	Modelo	Pontuação
LMSYS Arena (Elo)	GPT-4o	1309Elo

Ler original

DeepSeek-V4 Flash 0731 vs GPT-5.6 Luna no DeepSWE: Custo e Codificação

Uma comparação entre DeepSeek-V4 Flash 0731 e GPT-5.6 Luna no benchmark DeepSWE revela que, embora GPT-5.6 Luna seja o engenheiro mais forte, uma estratégia em cascata usando ambos os modelos alcança maior precisão a um custo menor.

media r/LocalLLaMA · há 9 d · 1 visualização

DeepSeek V4 Flash GA ocupa o mesmo lugar que Sonnet 5 e Grok 4.5 no DeepSWE

A DeepSeek afirma que seu novo modelo de disponibilidade geral, DeepSeek V4 Flash, atinge paridade de desempenho com Anthropic's Sonnet 5 e xAI's Grok 4.5 no benchmark DeepSWE.

lab OpenAI News · há 10 d · 6 visualizações

Duas configurações de API triplicaram as pontuações do GPT-5.6 no ARC-AGI-3

Habilitar duas configurações específicas de API para o GPT-5.6 resultou em uma tripla das suas pontuações de desempenho na benchmark ARC-AGI-3.

media Together AI Blog · há 13 d · 1 visualização

Kimi K3 supera GPT-5.6 Sol no DeepSWE pass@4 e custa 64% menos

Uma comparação entre Kimi K3 e GPT-5.6 Sol no benchmark DeepSWE revela que, embora o GPT-5.6 Sol lidera em qualidade de tiro único (72,7% contra 68,5%), o Kimi K3 alcança pontuações pass@k mais altas para k > 1 com um custo significativamente menor.

arxiv arXiv cs.CL · há 19 d · 2 visualizações

Intern-BioBreaker revela riscos físicos de biosegurança em LLMs de fronteira

Pesquisadores desenvolveram o Intern-BioBreaker, um modelo especializado de bio-red-teaming, para avaliar os riscos biológicos de grandes modelos de linguagem de fronteira ao acoplar testes de estresse computacional com validação em laboratório úmido. O estudo descobriu que modelos alinhados podem ser induzidos a fornecer orientações operacionais para tarefas sensíveis à segurança e gerar saídas em nível de sequência com propriedades prejudiciais.