Tencent telah membuka sumber kode AngelSpec, sebuah kerangka pelatihan berbasis torch yang mendukung prediksi multi-token autoregresif (MTP) serta drafter keluarga DFlash-paralel blok untuk model Hy3. Sistem ini menganggap heterogenitas beban kerja sebagai kendala desain utama, memungkinkannya mengkhususkan struktur, data pelatihan, dan kedalaman verifikasi berdasarkan kasus penggunaan tertentu.
- AngelSpec mengatasi ketidaksesuaian antara pelatihan dan inferensi dalam MTP dengan menggunakan skema multi-kedalaman parameter bersama di mana blok fisik digulung secara autoregresif selama pelatihan.
- Kerangka kerja ini memanfaatkan rollout model target dan parameter backbone beku untuk memastikan drafter mendekati pilihan token saat penyajian tanpa mengubah distribusi verifikasi.
- Arsitektur difusi-blok DFly memperkenalkan kondisioning target hibrida dan kepala autoregresif yang dikondisikan oleh pendahulu untuk meningkatkan tingkat penerimaan di domain kode dan matematika.
- Pada Qwen3-8B, DFly mencapai panjang rata-rata yang diterima sebesar 5.41, mengungguli DSpark (5.32), DFlash (4.57), dan MTP (3.24).
- Pada Hy3-A21B, DFly mencapai panjang rata-rata yang diterima sebesar 4.79, mewakili peningkatan relatif sebesar 29.8% atas DFlash dan 59.7% atas MTP.
- Kerangka kerja ini mendukung pelatihan konteks panjang hingga 128k token dan mencakup antarmuka yang dapat dipasang untuk target, tujuan, dan pengoptimal seperti Muon.
AngelSpec menyediakan alur kerja terpadu untuk melatih enam arsitektur drafter, memungkinkan percepatan signifikan dalam throughput lalu lintas langsung sambil mempertahankan tingkat penerimaan tinggi di berbagai benchmark.