Les chercheurs ont développé un nouvel ensemble de données de raisonnement à grande échelle et le benchmark FukuyamaBench pour évaluer le raisonnement des mécanismes hiérarchiques dans les grands modèles de langage, répondant aux incohérences physiques courantes dans les LLM chimiques actuels.
- L'étude introduit FukuyamaBench, un benchmark difficile dérivé du livre de Fukuyama sur les Mécanismes avancés des réactions en chimie organique.
- Un modèle Qwen3-30B-A3Fine-tuned a été entraîné sur le nouvel ensemble de données pour améliorer l'intelligence chimique.
- Le modèle a obtenu une correspondance exacte du chemin de réaction de 8,3 % sur FukuyamaBench Set~A, surpassant le score de 5,1 % du modèle spécialisé FlowER.
Cela démontre que l'entraînement conscient des mécanismes améliore considérablement les capacités de raisonnement chimique dans les modèles de langage.