lab Hugging Face Blog · há 2 h · releases

TutorMoments avalia se tutores de IA sabem quando ajudar ou recuar

Traduzido do English → Português (BR)

Pesquisadores apresentam o TutorMoments, uma estrutura projetada para medir se grandes modelos de linguagem podem equilibrar a troca pedagógica entre fornecer suporte e incentivar o raciocínio independente. Construído com base em transcrições reais de tutoria matemática individual, o sistema reproduz pontos de decisão para avaliar o comportamento do modelo contra um ground truth anotado por humanos.

A avaliação utiliza 462 transcrições desidentificadas de estudantes dos EUA nos anos 2 a 7, anotadas por professores experientes que sinalizaram momentos que exigiam suporte ou rigor. Os modelos testados tendem a ajudar em excesso quando recebem um prompt simples, mas o desempenho melhora quando o prompt define explicitamente a troca entre ajudar e recuar. Apesar das melhorias, os LLMs ainda variam amplamente em confiabilidade e usam menos estratégias do que tutores humanos, frequentemente falhando em corresponder ao julgamento nuanceado de educadores experientes. A equipe disponibiliza o conjunto de dados, o código para o pipeline de reprodução e as reproduções dos modelos para ajudar pesquisadores a construir tutores de IA que se adaptem às necessidades dos alunos, em vez de fazerem o trabalho por eles.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Blog OpenAI AI agents Evaluation & benchmarks

Artigos relacionados

arxiv arXiv cs.AI · há 32 d · 1 visualização

EvoPolicyGym apresenta benchmark para avaliar a evolução autônoma de políticas

Os autores introduzem a Evolução Autônoma de Políticas, um cenário de avaliação controlado onde um agente edita repetidamente um sistema de política executável dentro de um orçamento de interação fixo para melhorar iterativamente as políticas exploradas.

arxiv arXiv cs.CL · há 33 d

GPT-5 supera humanos em induzir estados de crença por meio de planejamento

Um novo estudo avalia a capacidade dos Grandes Modelos de Linguagem (LLMs) de induzir estados de crença específicos em outros agentes por meio de ações, e não de conversa, uma capacidade denominada ToM de Planejamento Não Conversacional (NCP-ToM). Usando o framework NCP-ExploreToM, pesquisadores testaram seis modelos de ponta e participantes humanos em 600 instâncias de tarefas onde os agentes precisavam mover objetos ou direcionar personagens para alcançar objetivos de crença.

arxiv arXiv cs.CL · há 36 d · 2 visualizações

EvoPolicyGym: Avaliando a Evolução Autônoma de Políticas em Ambientes Interativos

O artigo apresenta o EvoPolicyGym, um benchmark projetado para avaliar como os agentes melhoram iterativamente políticas executáveis por meio de feedback dentro de um orçamento de interação fixo. Esse ambiente controlado aborda as limitações das avaliações existentes que frequentemente reduzem o processo a pontuações finais ou o confundem com o progresso da engenharia de software.

arxiv arXiv cs.CL · há 38 d · 1 visualização

Estados Atratores Emergem em Conversas de LLM Multi-turno

Um estudo investiga se discussões de modelos de linguagem grandes (LLM) de final aberto exibem comportamento semelhante ao de atratores, analisando trajetórias através de sete modelos e vinte tópicos controversos. A pesquisa compara debates dyádicos de auto-jogo e jogo misto para entender como as conversas se estabilizam em conjuntos fixos de comportamentos.

lab OpenAI News · há 4 h · 3 visualizações

Anthropic pausa o desenvolvimento do Astra após avaliações internas sugerirem capacidades cibernéticas críticas

A Anthropic pausou as atividades internas envolvendo seu próximo modelo, o Astra, porque avaliações recentes indicam que ele pode possuir capacidades críticas de cibersegurança sob o Framework de Preparação da empresa. A firma não pode descartar que o modelo possa identificar e desenvolver exploits funcionais de dia zero em sistemas reais endurecidos sem intervenção humana.