शोधकर्ताओं ने बड़े भाषा मॉडलों के भीतर गणितीय हल करने की क्षमता के ज्ञान और वाचन के आंतरिक प्रतिनिधित्वों को सफलतापूर्वक अलग किया है, यह दिखाते हुए कि उन्हें अलग-अलग, रैखिक रूप से डीकोड किए जाने वाले वेक्टर के रूप में एन्कोड किया गया है। अध्ययन से पता चलता है कि मॉडल निर्माण मुख्य रूप से ज्ञान की तुलना में वाचन में बदलाव द्वारा संचालित होता है।
- ज्ञान और वाचन को कई LLMs में मॉडल के छिपी हुई अवस्थाओं में अलग लैटेंट दिशाओं के रूप में पहचाना गया है।
- निर्माण, हल करने की क्षमता के मूल ज्ञान की तुलना में वाचन प्रतिनिधित्वों में बदलाव से सहसंबंधित है।
- अहल होने की संकेतों के साथ प्रॉम्प्टिंग वाचन दिशा को स्थानांतरित करके निर्माण को कम करता है।
- सक्रियण स्टीयरिंग इन प्रतिनिधित्वों को यांत्रिक रूप से संशोधित कर सकता है ताकि मॉडल के विलोपन (abstention) को बेहतर बनाया जा सके।
यह कार्य हल करने की क्षमता के विश्वासों का स्वतंत्र विश्लेषण और संशोधन सक्षम बनाता है, जिससे यह नियंत्रित करना अधिक प्रभावी होता है कि मॉडलों को कब उत्तर देने से विरत रहना चाहिए।