media AIBase · há 608 d

Gemini-Exp-1206 do Google supera o ChatGPT no ranking do LMArena

Traduzido do English → Português (BR)

O Google lançou um modelo de linguagem experimental chamado Gemini-Exp-1206, que alcançou a maior Arena Score no ranking do LMArena (Chatbot Arena). O modelo atingiu 1379 pontos, superando ligeiramente a pontuação do ChatGPT-4.0 com 1366 pontos.

Gemini-Exp-1206 marcou 1379 no LMArena, em comparação com os 1366 do ChatGPT-4.0.
O ChatGPT-4.0 recebeu significativamente mais votos (21.929) do que o Gemini-Exp-1206 (5.052), indicando maior confiabilidade.
O modelo demonstra um desempenho superior em comparação à versão anterior Gemini-Exp-1114.
O Google descreve esses modelos experimentais como protótipos temporários para testes e feedback, não adequados para produção.

O modelo está disponível gratuitamente via Google AI Studio, oferecendo aos desenvolvedores a chance de experimentar os últimos avanços do Google em IA antes do lançamento oficial.

Importância 3/3 Supera um benchmark de um laboratório de ponta AIBase Google DeepMind Benchmark results

Benchmarks

Benchmark	Modelo	Pontuação
LMSYS Arena (Elo)	Gemini-Exp-1206	1379Elo

Ler original

TestEvo-Bench: benchmark ao vivo executável para coevolução de testes e código

Pesquisadores apresentam o TestEvo-Bench, um benchmark ao vivo projetado para avaliar quão bem os agentes lidam com a coevolução de testes de software e código. Diferente de benchmarks existentes que dependem de metadados estáticos, esta estrutura utiliza históricos reais de commits e configurações de ambiente para verificar métricas executáveis como taxa de aprovação (pass rate) e cobertura.

media r/LocalLLaMA · há 34 d

Meta testou ChatGPT, Gemini e Character.AI com prompts de crise sob a perspectiva de menores

Segundo relatos, a Meta contou com centenas de contratados que se passaram por menores e enviaram prompts relacionados a suicídio, sexo e drogas para os chatbots da OpenAI, Google e Character.AI. Em uma única rodada de testes, mais de 45.000 prompts foram enviados.

arxiv arXiv cs.CL · há 35 d · 1 visualização

O ajuste fino QLoRA do Gemma 4 31B fecha a lacuna de extração de relações interlinguísticas para o romeno

O estudo investiga a extração de relações interlinguísticas para o romeno traduzindo o benchmark SemEval-2010 Task 8 e avaliando o Gemma 4 31B em comparação com linhas de base de codificadores. Os resultados mostram que o ajuste fino QLoRA melhora a F1-Score macro em mais de 22 pontos percentuais, reduzindo a lacuna interlinguística de 3,3 para 1,4pp.

arxiv arXiv cs.CL · há 35 d

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

arxiv arXiv cs.CL · há 35 d · 2 visualizações

Avaliadores de LLM carecem de cautela clínica apesar do alinhamento estatístico no benchmark MedQADE

O estudo apresenta o MedQADE, um benchmark clínico padronizado de resposta aberta para alemão composto por 3.800 itens anotados por dez médicos e nove avaliadores de LLM. Ele investiga se as abordagens automatizadas de LLM-as-a-Judge replicam a calibração e cautela dos clínicos humanos.