loo5x ने llama-modes v0.4.0 जारी किया है, जो llama.cpp का एक फोर्क है जो एक बार एकल GGUF मॉडल लोड करने की सुविधा देता है ताकि मॉडल स्विच किए बिना या क्लासिफायर जोड़े बिना कई संरचित निष्कर्षण मोड चलाए जा सकें।
- BOOLEAN मोड सीधे हाँ/नहीं उत्तरों को स्कोर करता है।
- CHOICE मोड मनमाने ढंग से दिए गए उम्मीदवारों, जिसमें मल्टी-टोकन लेबल भी शामिल हैं, को स्कोर करता है।
- SCALE मोड क्रमिक या अंतराल स्केल का मूल्यांकन करता है, और माध्यिका या अपेक्षित मान जैसे विसर्जित सांख्यिकी के साथ विविक्त वितरण लौटाता है।
- इस परियोजना में विंडोज़ CUDA रिलीज़, स्थानीय React डेमो, और API दस्तावेज़ीकरण शामिल हैं।
यह दृष्टिकोण डेवलपर्स को अलग-अलग निष्कर्षण प्राइमिटिव्स के लिए मेमोरी में एक ही मॉडल वजन का पुन: उपयोग करने की अनुमति देता है, जो सामान्य स्थानीय भाषा मॉडलों से सीधे संरचित स्कोरिंग को उजागर करता है।