llama.cpp Release b9716 ने InternVL के लिए Batching Support जोड़ा है
llama.cpp संस्करण b9716 ने InternVL के लिए batching support पेश किया है, जिससे कुशल बैच प्रोसेसिंग के माध्यम से मॉडल प्रदर्शन में सुधार हुआ है। रिलीज में macOS, Linux, Android, Windows और openEuler के लिए binary builds शामिल हैं, जो कई आर्किटेक्चर और Vulkan, OpenVINO, SYCL, और ROCm सहित हार्डवेयर एक्सेलरेशन विकल्पों पर उपलब्ध हैं।