Qwen3-30B-A3B mencapai 8,3% pada FukuyamaBench untuk penalaran mekanistik

Para peneliti telah mengembangkan dataset penalaran skala besar yang baru dan benchmark FukuyamaBench untuk mengevaluasi penalaran mekanisme hierarkis dalam model bahasa besar, mengatasi inkonsistensi fisik yang umum terjadi pada LLM kimia saat ini.

• Studi ini memperkenalkan FukuyamaBench, sebuah benchmark sulit yang berasal dari buku Mekanisme Reaksi Organik Lanjutan karya Fukuyama.
• Model Qwen3-30B-A3B yang telah di-fine-tuning dilatih pada dataset baru untuk meningkatkan kecerdasan kimia.
• Model tersebut mencapai pencocokan jalur eksak sebesar 8,3% pada FukuyamaBench Set~A, melampaui skor 5,1% dari model khusus FlowER.

Hal ini menunjukkan bahwa pelatihan yang sadar mekanisme secara substansial meningkatkan kemampuan penalaran kimia dalam model bahasa.