झोंगकाइफू ने TensorSharp जारी किया है, जो पूरी तरह से C# में बनाया गया एक ओपन-सोर्स लोकल LLM इनफरेंस इंजन है जो Windows, macOS और Linux को सपोर्ट करता है। यह इंजन Unsloth से GGUF मॉडल, जिसमें मल्टीमोडल क्षमताओं के साथ Gemma 4 और Qwen 3.6 शामिल हैं, को संभालता है, जबकि OpenAI और Ollama के संगत APIs प्रदान करता है।
- TensorSharp llama.cpp को लपेटने के बजाय इनफरेंस इंजन को शून्य से लागू करता है, CPU, CUDA, MLX और GGML बैकएंड्स प्रदान करता है।
- इसमें MoE मॉडल के लिए पेज्ड KV कैश, कंटिन्यूअस बैचिंग और SSD-आधारित कैश जैसे ऑप्टिमाइज़ेशन शामिल हैं।
- बेंचमार्क दिखाते हैं कि CUDA और Vulkan बैकएंड्स पर विभिन्न डिकोड, प्रीफिल और TTFT मेट्रिक्स पर llama.cpp की तुलना में TensorSharp 0.84x से 1.28x तक प्रदर्शन अनुपात हासिल करता है।
प्रोजेक्ट एक कंसोल एप्लिकेशन, वेब-आधारित चैटबॉट इंटरफेस और प्रोग्रामेटिक एक्सेस के लिए HTTP APIs प्रदान करता है, Nvidia, Apple, AMD और Intel हार्डवेयर पर पूर्ण GPU क्षमता का लाभ उठाने का लक्ष्य रखता है।