أطلق تشونغ كايفو TensorSharp، وهو محرك استنتاج محلي مفتوح المصدر لنماذج اللغة الكبيرة (LLM) مُصمم بالكامل بلغة C# ويدعم أنظمة Windows وmacOS وLinux. يتعامل المحرك مع نماذج GGUF من Unsloth، بما في ذلك Gemma 4 وQwen 3.6 ذات القدرات متعددة الوسائط، بينما يوفر واجهات برمجة تطبيقات (APIs) متوافقة مع OpenAI وOllama.

  • يُنفذ TensorSharp محرك الاستنتاج من الصفر بدلاً من تغليف llama.cpp، ويدعم الخلفيات CPU وCUDA وMLX وGGML.
  • يتضمن تحسينات مثل ذاكرة التخزين المؤقت KV المقسمة (paged KV cache)، والتجميع المستمر (continuous batching)، والذاكرة المؤقتة المعتمدة على SSD لنماذج MoE.
  • تُظهر الاختبارات أن TensorSharp يحقق نسب أداء تتراوح بين 0.84x و1.28x مقارنة بـ llama.cpp عبر مختلف مقاييس الاستنتاج (decode) والحشو المسبق (prefill) وزمن أول توكن (TTFT) على خلفيات CUDA وVulkan.

يوفر المشروع تطبيق وحدة تحكم، وواجهة دردشة قائمة على الويب، وواجهات برمجة تطبيقات HTTP للوصول البرمجي، بهدف الاستفادة من كامل قدرة وحدات معالجة الرسومات عبر عتاد Nvidia وApple وAMD وIntel.