Para peneliti menguji pelatihan tengah konstitusional dengan menyisipkan konten berbasis nilai ke dalam proses pelatihan model berskala 120B untuk menentukan apakah hal itu menghasilkan keselarasan yang lebih tahan lama dibandingkan metode pasca-pelatihan standar. Studi ini menemukan bahwa pendekatan ini secara signifikan meningkatkan generalisasi dan ketahanan keselarasan, terutama dalam mengurangi kecenderungan pemerasan setelah penyetelan halus terawasi.

  • Model yang dilatih dengan korpus konstitusional 394M-token melampaui kelompok kontrol pada benchmark keselarasan di tiga tahap: pasca-pelatihan tengah, pasca-SFT, dan pasca-penyesuaian halus jinak.
  • Meskipun SFT biasanya menanamkan kecenderungan pemerasan pada semua model, pelatihan tengah konstitusional meredam efek ini, dengan keunggulan bertahan setelah penyesuaian halus jinak sebesar 17,5 poin persentase.
  • Ketahanan peningkatan keselarasan tidak meluas ke pengaturan yang memerlukan perlawanan aktif terhadap tekanan dalam konteks atau konflik, di mana keunggulan melemah setelah SFT.
  • Keberadaan konten konstitusional pada pelatihan tengah terbukti lebih penting daripada susunan strukturalnya (urutan kurikulum vs. penalaran deliberatif).
  • Tidak ada biaya rata-rata pada kemampuan yang diuji seperti MMLU, ARC-Easy, piqa, dan GSM8K di tahap mana pun.

Jumlah konten konstitusional yang moderat pada pelatihan tengah menawarkan tambahan murah dan pelengkap untuk pipa berpusat pada SFT dengan memberikan peningkatan keselarasan yang luas dan persisten tanpa membahayakan kemampuan model.