zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.

  • TensorSharp mengimplementasikan mesin inferensi dari awal alih-alih membungkus llama.cpp, menawarkan backend CPU, CUDA, MLX, dan GGML.
  • Ia menggabungkan optimasi seperti paged KV cache, continuous batching, dan cache berbasis SSD untuk model MoE.
  • Benchmark menunjukkan TensorSharp mencapai rasio kinerja berkisar 0.84x hingga 1.28x dibandingkan llama.cpp di berbagai metrik decode, prefill, dan TTFT pada backend CUDA dan Vulkan.

Proyek ini menyediakan aplikasi konsol, antarmuka chatbot berbasis web, serta API HTTP untuk akses pemrograman, bertujuan memanfaatkan kemampuan GPU penuh di perangkat keras Nvidia, Apple, AMD, dan Intel.