著者は、最先端のchain-of-thought (CoT) トレースを要約または検閲したモデルに対するファインチューニングの実践に疑問を呈し、それが出力品質の向上に対する魔法の解決策ではないと主張している。
- ディスチレーションは、ベースモデルが持つ能力を超えて出力品質を高めるものではない。
- FableやAnthropicのモデルに基づくファインチューンは、その推論トレースが実際のモデルの出力と大きく異なるため批判されている。
- このミスマッチにより、結果として得られるファインチューンドモデルは以前よりも性能が悪くなることが確実である。
著者は、これらの要約されたトレースに依存することが、推論能力の向上にとって逆効果であると示唆している。