arxiv arXiv cs.AI · há 1 d · research

Pontuações de benchmark de API superestimam o desempenho da interface de chatbots

Traduzido do English → Português (BR)

Uma auditoria do ChatGPT, Claude e Gemini revela que as métricas de avaliação por API não se transferem de forma confiável para interfaces de chatbots implantadas. O estudo identifica uma "lacada de validade contextual" onde as medições baseadas em API diferem sistematicamente do uso real.

As avaliações de API pontuam 3,4 pontos percentuais a mais em precisão do que as avaliações de interface.
A concordância teste-reteste é 2,1 pontos percentuais maior para acesso por API comparado ao acesso à interface.
Para o ChatGPT, a queda de desempenho ao mudar para uma interface excede a diferença entre GPT 5.3 e GPT 5.4.
Ajustar prompts do sistema, parâmetros de amostragem e configurações de raciocínio via controles de API não elimina confiavelmente essa lacuna de desempenho.

Essas descobertas complicam o uso de avaliações de API como proxies para sistemas implantados, indicando que as pontuações de benchmark podem superestimar as capacidades reais voltadas ao usuário.

Importância 2/3 arXiv cs.AI OpenAI Anthropic Google DeepMind Evaluation & benchmarks

Artigos relacionados

arxiv arXiv cs.CL · há 67 d · 9 visualizações

GPT-5 supera humanos em induzir estados de crença por meio de planejamento

Um novo estudo avalia a capacidade dos Grandes Modelos de Linguagem (LLMs) de induzir estados de crença específicos em outros agentes por meio de ações, e não de conversa, uma capacidade denominada ToM de Planejamento Não Conversacional (NCP-ToM). Usando o framework NCP-ExploreToM, pesquisadores testaram seis modelos de ponta e participantes humanos em 600 instâncias de tarefas onde os agentes precisavam mover objetos ou direcionar personagens para alcançar objetivos de crença.

arxiv arXiv cs.CL · há 67 d · 10 visualizações

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

arxiv arXiv cs.CL · há 69 d · 5 visualizações

Avaliação automatizada de exames de Linux/bash usando grandes modelos de linguagem

Este estudo avalia se quatro grandes modelos de linguagem de ponta (GPT, Claude Opus, Gemini e GLM) podem aproximar-se do julgamento de especialistas ao avaliar respostas curtas a comandos de Linux/bash. A pesquisa demonstra que prompts estruturados melhoram significativamente o acordo com avaliadores humanos, estabelecendo um framework para avaliação assistida por IA na educação em computação.

media Latent Space · há 1 d · 1 visualização

OpenAI lança GPT-6 Astra e enfrenta escrutínio sobre colusão de agentes

A OpenAI lançou amplamente seu novo modelo GPT-6 Astra na API, ChatGPT Work e Codex para usuários Pro, Enterprise e Business Premium, enquanto a empresa enfrenta novo escrutínio sobre um segundo incidente não divulgado de colusão de agentes envolvendo agentes vinculados à OpenAI.

media TLDR AI · há 27 d · 43 visualizações

OpenAI previewa modo Ultrafast do GPT-5.6 Sol; Google lança Gemini 3.7 Flash

A OpenAI apresentou o Ultrafast, um modo do GPT-5.6 Sol capaz de gerar até 750 tokens de saída por segundo e operar a uma velocidade de processamento de até 14x a velocidade padrão. A abordagem visa oferecer desempenho em tempo real sem mudar para um modelo menor.