أداة جديدة تسمى JLens-GGUF تجلب تصور عدسة جاكوبين التفاعلي وقدرات التوجيه المباشر لنماذج GGUF التي تعمل على llama.cpp. مستوحاة من أبحاث Anthropic، يملأ هذا المشروع فجوة لمحركات الاستدلال القائمة على GGUF من خلال السماح للمستخدمين بمراقبة والتلاعب بالحالة الداخلية لنماذجهم.
- يتميز بخادم GGUF أصلي يعتمد بشكل وثيق على llama.cpp الذي يدعم مراقبة النموذج، وتبديل j-space، وabliteration، والتوجيه.
- تعمل الأداة مع تنسيقات GGFL الكثيفة وMixture-of-Experts (MoE).
- بينما يمكنها مراقبة نماذج llama-server قيد التشغيل، لا يمكنها توجيهها مباشرة؛ يتطلب التوجيه الخادم الأصلي.
- تتناسب متطلبات الذاكرة للعدسة مع حجم النموذج بحوالي 1/8 من بصمة النموذج.
توفر هذه التنفيذ للمستخدمين المحليين الوصول إلى ميزات التفسيرية والتحكم المتقدمة التي كانت محدودة سابقًا لبيئات PyTorch أو Hugging Face.