arxiv arXiv cs.AI · agora mesmo · fonte: há 3 d · research

GPT-5 e GPT-5 Nano igualam especialistas na avaliação de pesquisas sobre oncogênese microbiana

Traduzido do English → Português (BR)

Um estudo demonstra que o GPT-5 e o GPT-5 Nano alcançam desempenho de nível especialista na extração de evidências e na avaliação crítica de publicações de pesquisa sobre oncogênese microbiana. Os pesquisadores avaliaram esses modelos junto com Gemini 2.5 Pro e Gemini 2.5 Flash em comparação a especialistas do domínio, utilizando um conjunto de dados com 24 artigos focados em MMTV-LV e câncer de mama.

A avaliação utilizou um modelo estruturado com 77 itens em múltiplos tipos de perguntas, incluindo MCQs, escalas Likert e respostas de texto livre.
O GPT-5 e o GPT-5 Nano produziram distribuições de pontuação indistinguíveis das dos especialistas humanos, enquanto os modelos Gemini foram significativamente mais indulgentes na aplicação dos critérios.

As alucinações foram raras em todos os modelos, mas a avaliação metodológica e a identificação de contradições dentro dos textos completos permaneceram vulnerabilidades persistentes.

Os resultados apoiam o uso de LLMs para síntese automatizada de evidências sistemáticas, embora seja necessário um fortalecimento adicional para tarefas metodológicas complexas.

Importância 2/3 arXiv cs.AI Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artigos relacionados

arxiv arXiv cs.CL · há 2 h

GPT-5 e GPT-5 Nano igualam especialistas na extração de evidências sobre oncogênese microbiana

Um estudo que avaliou modelos de linguagem grandes na síntese sistemática de evidências para oncogênese microbiana descobriu que o GPT-5 e o GPT-5 Nano têm desempenho indistinguível do de especialistas da área. Os pesquisadores avaliaram o Gemini 2.5 Pro, o Gemini 2.5 Flash, o GPT-5 e o GPT-5 Nano em 24 artigos de pesquisa, utilizando um modelo estruturado com 77 itens em múltiplos tipos de pergunta.

arxiv arXiv cs.CL · há 38 d

Avaliação automatizada de exames de Linux/bash usando grandes modelos de linguagem

Este estudo avalia se quatro grandes modelos de linguagem de ponta (GPT, Claude Opus, Gemini e GLM) podem aproximar-se do julgamento de especialistas ao avaliar respostas curtas a comandos de Linux/bash. A pesquisa demonstra que prompts estruturados melhoram significativamente o acordo com avaliadores humanos, estabelecendo um framework para avaliação assistida por IA na educação em computação.

arxiv arXiv cs.LG · há 34 d · 1 visualização

A expressão de persona do LLM compreende agregados robustos ao quadro e geometria dependente do quadro

Um estudo analisando o GPT-4o simulando personas americanas e sino-americanas revela que a expressão de persona do LLM consiste em dois componentes dissociáveis: características agregadas e características geométricas. Os pesquisadores construíram matrizes de correlação intra-instância a partir de respostas IPIP-50 para analisar a geometria em variedades SPD sob ordenações de perguntas manipuladas.

arxiv arXiv cs.AI · há 34 d

A expressão de persona em LLM compreende agregados robustos ao quadro e geometria dependente do quadro

Um estudo analisando o GPT-4o simulando personas americanas e sino-americanas revela que a expressão de persona em LLM consiste em dois componentes dissociáveis: características agregadas e características geométricas. Os pesquisadores construíram matrizes de correlação intra-instância a partir de respostas do IPIP-50 para analisar a geometria em variedades SPD sob ordenações de perguntas manipuladas.

arxiv arXiv cs.CL · há 35 d

GPT-5 supera humanos em induzir estados de crença por meio de planejamento

Um novo estudo avalia a capacidade dos Grandes Modelos de Linguagem (LLMs) de induzir estados de crença específicos em outros agentes por meio de ações, e não de conversa, uma capacidade denominada ToM de Planejamento Não Conversacional (NCP-ToM). Usando o framework NCP-ExploreToM, pesquisadores testaram seis modelos de ponta e participantes humanos em 600 instâncias de tarefas onde os agentes precisavam mover objetos ou direcionar personagens para alcançar objetivos de crença.