Los investigadores han desarrollado un nuevo conjunto de datos de razonamiento a gran escala y el benchmark FukuyamaBench para evaluar el razonamiento de mecanismos jerárquicos en modelos de lenguaje grandes, abordando las inconsistencias físicas comunes en los LLM químicos actuales.

  • El estudio introduce FukuyamaBench, un benchmark difícil derivado del libro Mecanismos de Reacciones Orgánicas Avanzadas de Fukuyama.
  • Un modelo Qwen3-30B-A3B ajustado finamente fue entrenado con el nuevo conjunto de datos para mejorar la inteligencia química.
  • El modelo logró una coincidencia exacta de trayectoria del 8.3% en FukuyamaBench Set~A, superando la puntuación del 5.1% del modelo especializado FlowER.

Esto demuestra que el entrenamiento consciente del mecanismo mejora sustancialmente las capacidades de razonamiento químico en los modelos de lenguaje.