zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.

  • TensorSharp implementa el motor de inferencia desde cero en lugar de envolver llama.cpp, ofreciendo backends para CPU, CUDA, MLX y GGML.
  • Incorpora optimizaciones como caché KV paginado, agrupamiento continuo y caché basado en SSD para modelos MoE.
  • Los benchmarks muestran que TensorSharp logra ratios de rendimiento que van desde 0.84x hasta 1.28x comparado con llama.cpp a través de varias métricas de decode, prefill y TTFT en backends CUDA y Vulkan.

El proyecto proporciona una aplicación de consola, una interfaz de chatbot basada en web y APIs HTTP para acceso programático, con el objetivo de aprovechar la capacidad completa de la GPU en hardware de Nvidia, Apple, AMD e Intel.