El estudio introduce URSA (Utilitarian RetroSynthesis Assessment), un marco de evaluación diseñado para hacer benchmark de rutas sintéticas desde perspectivas tanto formales como de plausibilidad química. Este protocolo aborda la dificultad de la comparación objetiva en el descubrimiento de fármacos imitando cómo los químicos expertos evalúan las reacciones.
- El marco evalúa la convergencia hacia materiales de partida comercialmente disponibles junto con la plausibilidad química.
- Evalúa soluciones convencionales de retrosíntesis de extremo a extremo y grandes modelos de lenguaje en moléculas diana nuevas y diversas con rutas sintéticas no divulgadas.
- Se encuentra que los LLM apoyan la planificación estratégica de alto nivel pero tienen un rendimiento inferior a los modelos especializados de retrosíntesis al resolver de manera fiable tareas de planificación de síntesis.