Qwen3-30B-A3B atinge 8,3% no FukuyamaBench para raciocínio mecanístico

Pesquisadores desenvolveram um novo conjunto de dados de raciocínio em larga escala e o benchmark FukuyamaBench para avaliar o raciocínio de mecanismos hierárquicos em grandes modelos de linguagem, abordando inconsistências físicas comuns em LLMs químicos atuais.

• O estudo apresenta o FukuyamaBench, um benchmark difícil derivado do livro Mecanismos Avançados de Reações Orgânicas de Fukuyama.
• Um modelo Qwen3-30B-A3B ajustado foi treinado no novo conjunto de dados para aprimorar a inteligência química.
• O modelo alcançou uma correspondência exata de trajetória de 8,3% no FukuyamaBench Set~A, superando a pontuação de 5,1% do modelo especializado FlowER.

Isso demonstra que o treinamento consciente do mecanismo melhora substancialmente as capacidades de raciocínio químico em modelos de linguagem.