El autor cuestiona la práctica de ajustar modelos en trazas de pensamiento (CoT) de última generación (SOTA) resumidas o censuradas, argumentando que no es una solución mágica para mejorar la calidad de salida.

  • La destilación no eleva la calidad de salida por encima de lo que el modelo base es capaz de lograr.
  • Los ajustes basados en los modelos de Fable y Anthropic son criticados porque sus trazas de razonamiento difieren significativamente de las salidas reales del modelo.
  • Esta discrepancia garantiza que los modelos ajustados resultantes tendrán un rendimiento peor que antes.

El autor sugiere que depender de estas trazas resumidas es contraproducente para mejorar las capacidades de razonamiento.