एक Reddit उपयोगकर्ता मॉडल संपीड़न तकनीकों में Anthropic के "J space" अवधारणा को लागू करने का सुझाव देता है। प्रस्ताव में अंतिम आउटपुट पर सबसे अधिक प्रभाव डालने वाली सक्रियणों की पहचान करने के लिए Jacobian मैट्रिक्स का उपयोग शामिल है, ताकि अधिक प्रभावी pruning, merging और distillation किया जा सके।
- दृष्टिकोण प्रभावशाली वेक्टर परिवर्तनों पर ध्यान केंद्रित करके तार्किक क्षमताओं को नष्ट किए बिना घन मॉडलों को संपीड़ित करने का लक्ष्य रखता है।
- यह बड़े मॉडलों के तर्क के सिग्नल को denoising या amplifying करने की अनुमति दे सकता है ताकि उसे छोटे मॉडलों में स्थानांतरित किया जा सके।
- इस विधि से frontier मॉडलों को छोटे रूपों में distilling करते समय कंप्यूटेशनल तीव्रता कम हो सकती है।
लेखक आशा करता है कि ये विचार स्थानीय AI समुदाय की मदद करेंगे, हालांकि वे विशेषज्ञ सत्यापन की आवश्यकता को स्वीकार करते हैं।