研究者らは、階層的メカニズム推論を大規模言語モデルで評価するために、新規の大規模推論データセットとFukuyamaBenchベンチマークを開発し、現在の化学LLMに共通する物理的不整合に対処した。

  • 本研究では、福山『有機反応機構』の教科書から導出された難易度の高いベンチマークであるFukuyamaBenchを紹介する。
  • 化学的知能を強化するため、新規データセット上で微調整されたQwen3-30B-A3Bモデルが訓練された。
  • このモデルはFukuyamaBench Set~Aにおいて8.3%の正確な経路一致率を達成し、専門的なFlowERモデルの5.1%というスコアを上回った。

これは、メカニズムを意識した訓練が言語モデルの化学的推論能力を大幅に向上させることを示している。