media AI News (TechForge) · há 737 d

Gemini 1.5 Pro 0801 experimental do Google supera GPT-4o no LMSYS Chatbot Arena

Traduzido do English → Português (BR)

O modelo experimental Gemini 1.5 Pro do Google superou o GPT-4o da OpenAI em benchmarks de IA generativa, especificamente no ranking do LMSYS Chatbot Arena.

A versão experimental, designada como Gemini 1.5 Pro 0801, alcançou uma pontuação de 1.300.
Este resultado supera a pontuação de 1.286 do GPT-4o e a de 1.271 do Claude-3.
Uma iteração anterior do Gemini 1.5 Pro havia obtido 1.261 pontos.

Este desenvolvimento marca um marco significativo na corrida contínua pela supremacia da IA entre os gigantes da tecnologia.

Importância 3/3 Supera um benchmark de um laboratório de ponta AI News (TechForge) Google DeepMind OpenAI Benchmark results

Benchmarks

Benchmark	Modelo	Pontuação
LMSYS Arena (Elo)	Gemini 1.5 Pro 0801	1300Elo

Ler original

Meta testou ChatGPT, Gemini e Character.AI com prompts de crise sob a perspectiva de menores

Segundo relatos, a Meta contou com centenas de contratados que se passaram por menores e enviaram prompts relacionados a suicídio, sexo e drogas para os chatbots da OpenAI, Google e Character.AI. Em uma única rodada de testes, mais de 45.000 prompts foram enviados.

arxiv arXiv cs.CL · há 35 d

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

media IntuitionLabs · há 115 d · 39 visualizações

GPT-5.2 atinge ~53% no benchmark ARC-AGI-2 em dezembro de 2025

O GPT-5.2 da OpenAI, lançado em dezembro de 2025, marcou um marco significativo no raciocínio abstrativo de IA ao alcançar aproximadamente uma taxa de sucesso de 53–54% no benchmark ARC-AGI-2. Este desempenho superou amplamente o estado da arte anterior, onde nenhum sistema de modelo fechado havia anteriormente ultrapassado sequer 5% de sucesso nessas tarefas.

media Jeremy Berman (Substack) · há 300 d · 8 visualizações

GPT-5 Pro resolve problema de Nível 4 do FrontierMath, ultrapassando o Gemini 2.5 Deep Think

O GPT-5 Pro da OpenAI estabeleceu um novo recorde no benchmark FrontierMath Tier 4 ao resolver um problema matemático de nível de pesquisa adicional em comparação com o Gemini 2.5 Deep Think do Google. A avaliação envolveu a correção manual de três configurações de modelos intensivas em computação em 50 problemas extremamente difíceis desenvolvidos por matemáticos profissionais.

lab ARC Prize · há 430 d · 1 visualização

Testes de principais sistemas de raciocínio de IA não revelam um vencedor claro nos benchmarks ARC

Uma revisão dos sistemas de raciocínio de ponta de laboratórios como OpenAI, DeepMind, xAI, DeepSeek e Anthropic revela que, embora o escalonamento de computação no tempo de teste melhore a precisão, ele reduz significativamente a eficiência. A análise identifica uma fronteira de Pareto para as pontuações ARC-AGI-1, mas nota falha completa no benchmark mais desafiador ARC-AGI-2, sugerindo limitações comuns em todos os principais modelos.