Tencent ने Torch-नेटिव प्रशिक्षण ढांचा AngelSpec को ओपन-सोर्स किया है, जो ऑटोरेग्रेसिव मल्टी-टोकन प्रिडिक्शन (MTP) और Hy3 मॉडल्स के लिए ब्लॉक-समानांतर DFlash-फैमिली ड्राफ्टर्स का समर्थन करता है। सिस्टम कार्यभार विषमता को एक प्राथमिक डिज़ाइन बाधा मानता है, जिससे यह विशिष्ट उपयोग मामलों के आधार पर संरचना, प्रशिक्षण डेटा और सत्यापन गहराई में विशेषज्ञता हासिल कर सकता है।
- AngelSpec MTP में ट्रेन-इन्फरेंस असंगतता को एक साझा-पैरामीटर, मल्टी-डिप्थ योजना का उपयोग करके संबोधित करता है, जहाँ भौतिक ब्लॉक प्रशिक्षण के दौरान ऑटोरेग्रेसिव रूप से अनरोल होता है।
- ढांचा ड्राफ्टर को सर्विंग-टाइम टोकन चयनों का अनुमान लगाने में सक्षम बनाने के लिए टारगेट-मॉडल रोलआउट और फ्रोजन बैकबोन पैरामीटर का उपयोग करता है, बिना सत्यापन वितरणों को बदले।
- DFly ब्लॉक-डिफ्यूज़न आर्किटेक्चर कोड और गणित डोमेन में स्वीकृति दरों में सुधार के लिए हाइब्रिड टारगेट-कंडीशनिंग और पूर्वज-कंडीशंड ऑटोरेग्रेसिव हेड पेश करता है।
- Qwen3-8B पर, DFly 5.41 की औसत स्वीकृत लंबाई हासिल करता है, जो DSpark (5.32), DFlash (4.57) और MTP (3.24) से बेहतर प्रदर्शन करता है।
- Hy3-A21B पर, DFly 4.79 की औसत स्वीकृत लंबाई तक पहुँचता है, जो DFlash के सापेक्ष 29.8% और MTP के सापेक्ष 59.7% की लाभप्रदता दर्शाता है।
- ढांचा 128k टोकन तक लंबे संदर्भ प्रशिक्षण का समर्थन करता है और Muon जैसे टारगेट, उद्देश्यों और ऑप्टिमाइज़र्स के लिए प्लगएबल इंटरफेस शामिल हैं।
AngelSpec छह ड्राफ्ट आर्किटेक्चर्स के प्रशिक्षण के लिए एक एकीकृत पाइपलाइन प्रदान करता है, जिससे विविध बेंचमार्क्स में उच्च स्वीकृति दरों को बनाए रखते हुए लाइव ट्रैफिक थ्रूपुट में महत्वपूर्ण गति प्राप्त होती है।