zhongkaifu выпустил TensorSharp — движок локального вывода LLM с открытым исходным кодом, полностью написанный на C# и поддерживающий Windows, macOS и Linux. Движок работает с GGUF-моделями от Unsloth, включая Gemma 4 и Qwen 3.6 с мультимодальными возможностями, предоставляя API, совместимые с OpenAI и Ollama.
- TensorSharp реализует движок вывода с нуля, а не обёртку llama.cpp, предлагая бэкенды CPU, CUDA, MLX и GGML.
- Он включает оптимизации, такие как страничный KV-кэш, непрерывное батчингирование и кэш на основе SSD для моделей MoE.
- Бенчмарки показывают, что TensorSharp достигает соотношения производительности от 0.84x до 1.28x по сравнению с llama.cpp в различных метриках декодирования, префиллинга и TTFT на бэкендах CUDA и Vulkan.
Проект предоставляет консольное приложение, веб-интерфейс чатбота и HTTP API для программной доступности, стремясь использовать полную мощность GPU на оборудовании Nvidia, Apple, AMD и Intel.