llama.cpp परियोजना ने b10344 बिल्ड जारी किया है, जो विशेष रूप से Nemotron और Nemotron Nano मॉडलों के लिए Multi-Token Prediction (MTP) समर्थन पेश करता है।

  • Nemotron Nano मॉडल के लिए MTP समर्थन जोड़ा गया है।
  • Nemotron मॉडल के लिए mtp_flags कॉन्फ़िगरेशन पेश किया गया है।
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान किए गए हैं।

इस अपडेट से उपयोगकर्ता विभिन्न हार्डवेयर प्लेटफ़ॉर्म और ऑपरेटिंग सिस्टम पर Nemotron मॉडलों के साथ MTP क्षमताओं का लाभ उठा सकते हैं।