media NextBigFuture · há 358 d

xAI Grok 4 lidera benchmark Arc-AGI2 com pontuação de 15.9% contra GPT5

Traduzido do English → Português (BR)

O modelo Grok 4 da xAI alcança uma pontuação de 15.9% no benchmark Arc-AGI2, superando o GPT5 da OpenAI que marcou 9.9%.

Grok 4 tem uma vantagem significativa sobre o GPT5 no benchmark Arc-AGI2.
A xAI planeja lançar o Grok 5 até o final de 2025.
O treinamento do Grok 5 utilizará poder computacional equivalente a aproximadamente 3 milhões de Nvidia H100 ou 550.000 chips B200.

Importância 2/3 NextBigFuture xAI OpenAI Benchmark results

Benchmarks

Benchmark	Modelo	Pontuação
ARC-AGI 2	Grok 4	15.9%

Ler original

DeepSeek V4 Flash GA ocupa o mesmo lugar que Sonnet 5 e Grok 4.5 no DeepSWE

A DeepSeek afirma que seu novo modelo de disponibilidade geral, DeepSeek V4 Flash, atinge paridade de desempenho com Anthropic's Sonnet 5 e xAI's Grok 4.5 no benchmark DeepSWE.

media Jeremy Berman (Substack) · há 292 d

GPT-5 Pro resolve problema de Nível 4 do FrontierMath, ultrapassando o Gemini 2.5 Deep Think

O GPT-5 Pro da OpenAI estabeleceu um novo recorde no benchmark FrontierMath Tier 4 ao resolver um problema matemático de nível de pesquisa adicional em comparação com o Gemini 2.5 Deep Think do Google. A avaliação envolveu a correção manual de três configurações de modelos intensivas em computação em 50 problemas extremamente difíceis desenvolvidos por matemáticos profissionais.

lab OpenAI News · há 2 d · 6 visualizações

Duas configurações de API triplicaram as pontuações do GPT-5.6 no ARC-AGI-3

Habilitar duas configurações específicas de API para o GPT-5.6 resultou em uma tripla das suas pontuações de desempenho na benchmark ARC-AGI-3.

media Together AI Blog · há 5 d · 1 visualização

Kimi K3 supera GPT-5.6 Sol no DeepSWE pass@4 e custa 64% menos

Uma comparação entre Kimi K3 e GPT-5.6 Sol no benchmark DeepSWE revela que, embora o GPT-5.6 Sol lidera em qualidade de tiro único (72,7% contra 68,5%), o Kimi K3 alcança pontuações pass@k mais altas para k > 1 com um custo significativamente menor.

arxiv arXiv cs.CL · há 11 d · 1 visualização

Intern-BioBreaker revela riscos físicos de biosegurança em LLMs de fronteira

Pesquisadores desenvolveram o Intern-BioBreaker, um modelo especializado de bio-red-teaming, para avaliar os riscos biológicos de grandes modelos de linguagem de fronteira ao acoplar testes de estresse computacional com validação em laboratório úmido. O estudo descobriu que modelos alinhados podem ser induzidos a fornecer orientações operacionais para tarefas sensíveis à segurança e gerar saídas em nível de sequência com propriedades prejudiciais.