O autor questiona a prática de fazer fine-tuning em modelos com base em traces de pensamento (CoT) de ponta (SOTA) resumidos ou censurados, argumentando que não é uma solução mágica para melhorar a qualidade da saída.
- A destilação não eleva a qualidade da saída acima do que o modelo base é capaz de produzir.
- Os fine-tunes baseados nos modelos da Fable e da Anthropic são criticados porque seus traces de raciocínio diferem significativamente das saídas reais do modelo.
- Essa discrepância garante que os modelos resultantes após o fine-tuning terão desempenho pior do que antes.
O autor sugere que depender desses traces resumidos é contraproducente para melhorar as capacidades de raciocínio.