llama.cpp परियोजना ने संस्करण b10282 जारी किया है, जिसमें अनुमानित डिकोडिंग के लिए नए मॉनिटरिंग क्षमताएं पेश की गई हैं। सर्वर अब अपने /metrics एंडपॉइंट में spec-decode काउंटर शामिल करता है, जिससे उपयोगकर्ता इस सुविधा से संबंधित प्रदर्शन मापदंडों को ट्रैक कर सकते हैं।

  • बेहतर अवलोकन के लिए /metrics एंडपॉइंट में spec-decode काउंटर जोड़े गए।
  • समीक्षा फीडबैक के बाद पैरामीटर नामों को vLLM के साथ बिल्कुल मिलाया गया।
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान की गईं।

यह अपडेट vLLM पैरामीटर नामकरण रीतिरिक्तियों के साथ संगतता बनाए रखते हुए अनुमानित डिकोडिंग प्रदर्शन की निगरानी करने की क्षमता को बेहतर बनाता है।