Исследователи разработали новый крупномасштабный набор данных для рассуждений и бенчмарк FukuyamaBench для оценки иерархического механизма рассуждения в больших языковых моделях, решая проблему физических несоответствий, характерных для современных химических LLM.

  • Исследование представляет FukuyamaBench, сложный бенчмарк, основанный на книге Фукуямы «Механизмы реакций в органической химии».
  • Модель Qwen3-30B-A3B была дообучена на новом наборе данных для улучшения химической интеллектуальности.
  • Модель достигла точного совпадения пути 8,3% на FukuyamaBench Set~A, превзойдя специализированную модель FlowER с результатом 5,1%.

Это демонстрирует, что обучение, учитывающее механизмы, существенно повышает способности к химическому рассуждению в языковых моделях.