zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.
- TensorSharp implémente le moteur d'inférence à partir de zéro plutôt que d'envelopper llama.cpp, offrant des backends CPU, CUDA, MLX et GGML.
- Il intègre des optimisations telles que la cache KV paginée, le regroupement continu et la cache basée sur SSD pour les modèles MoE.
- Les benchmarks montrent que TensorSharp atteint des ratios de performance allant de 0.84x à 1.28x par rapport à llama.cpp sur diverses métriques de décodage, préremplissage et TTFT sur les backends CUDA et Vulkan.
Le projet fournit une application console, une interface de chatbot basée sur le web et des API HTTP pour l'accès programmatique, visant à exploiter la pleine capacité du GPU sur le matériel Nvidia, Apple, AMD et Intel.