arxiv arXiv cs.CL · há 1 h · fonte: há 3 d · research

GPT-5 e GPT-5 Nano igualam especialistas na extração de evidências sobre oncogênese microbiana

Traduzido do English → Português (BR)

Um estudo que avaliou modelos de linguagem grandes na síntese sistemática de evidências para oncogênese microbiana descobriu que o GPT-5 e o GPT-5 Nano têm desempenho indistinguível do de especialistas da área. Os pesquisadores avaliaram o Gemini 2.5 Pro, o Gemini 2.5 Flash, o GPT-5 e o GPT-5 Nano em 24 artigos de pesquisa, utilizando um modelo estruturado com 77 itens em múltiplos tipos de pergunta.

As respostas dos LLMs alinharam-se estreitamente com as dos especialistas em todos os tipos de pergunta, incluindo MCQ, escala Likert, seleção múltipla e formatos de texto livre.
O GPT-5 e o GPT-5 Nano alcançaram distribuições de pontuação estatisticamente indistinguíveis das de especialistas humanos.
Os modelos Gemini comportaram-se de maneira semelhante, mas foram significativamente mais indulgentes ao aplicar os critérios de oncogênese microbiana.
As alucinações foram raras, embora a avaliação metodológica e a identificação de contradições tenham permanecido vulnerabilidades persistentes para todos os modelos.

Os resultados apoiam o uso de LLMs para síntese automatizada de evidências sistemáticas com o objetivo de identificar pares microrganismo-câncer, embora seja necessário um fortalecimento adicional para tarefas complexas de análise de texto completo.

Importância 2/3 arXiv cs.CL Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artigos relacionados

arxiv arXiv cs.CL · há 38 d

Avaliação automatizada de exames de Linux/bash usando grandes modelos de linguagem

Este estudo avalia se quatro grandes modelos de linguagem de ponta (GPT, Claude Opus, Gemini e GLM) podem aproximar-se do julgamento de especialistas ao avaliar respostas curtas a comandos de Linux/bash. A pesquisa demonstra que prompts estruturados melhoram significativamente o acordo com avaliadores humanos, estabelecendo um framework para avaliação assistida por IA na educação em computação.

arxiv arXiv cs.LG · há 34 d · 1 visualização

A expressão de persona do LLM compreende agregados robustos ao quadro e geometria dependente do quadro

Um estudo analisando o GPT-4o simulando personas americanas e sino-americanas revela que a expressão de persona do LLM consiste em dois componentes dissociáveis: características agregadas e características geométricas. Os pesquisadores construíram matrizes de correlação intra-instância a partir de respostas IPIP-50 para analisar a geometria em variedades SPD sob ordenações de perguntas manipuladas.

arxiv arXiv cs.AI · há 34 d

A expressão de persona em LLM compreende agregados robustos ao quadro e geometria dependente do quadro

Um estudo analisando o GPT-4o simulando personas americanas e sino-americanas revela que a expressão de persona em LLM consiste em dois componentes dissociáveis: características agregadas e características geométricas. Os pesquisadores construíram matrizes de correlação intra-instância a partir de respostas do IPIP-50 para analisar a geometria em variedades SPD sob ordenações de perguntas manipuladas.

arxiv arXiv cs.CL · há 35 d

GPT-5 supera humanos em induzir estados de crença por meio de planejamento

Um novo estudo avalia a capacidade dos Grandes Modelos de Linguagem (LLMs) de induzir estados de crença específicos em outros agentes por meio de ações, e não de conversa, uma capacidade denominada ToM de Planejamento Não Conversacional (NCP-ToM). Usando o framework NCP-ExploreToM, pesquisadores testaram seis modelos de ponta e participantes humanos em 600 instâncias de tarefas onde os agentes precisavam mover objetos ou direcionar personagens para alcançar objetivos de crença.

arxiv arXiv cs.CL · há 36 d

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.