zhongkaifu 发布了 TensorSharp，这是一个完全使用 C# 构建的开源本地 LLM 推理引擎，支持 Windows、macOS 和 Linux。该引擎处理来自 Unsloth 的 GGUF 模型，包括具有多模态能力的 Gemma 4 和 Qwen 3.6，同时提供与 OpenAI 和 Ollama 兼容的 API。

  • TensorSharp 从头实现了推理引擎，而不是封装 llama.cpp，提供 CPU、CUDA、MLX 和 GGML 后端。
  • 它结合了诸如分页 KV 缓存、连续批处理以及基于 SSD 的缓存等优化技术，适用于 MoE 模型。
  • 基准测试显示，在 CUDA 和 Vulkan 后端的各种解码、预填充和 TTFT 指标上，TensorSharp 的性能比率相对于 llama.cpp 介于 0.84x 到 1.28x 之间。

该项目提供了一个控制台应用程序、一个基于 Web 的聊天机器人界面以及用于程序化访问的 HTTP API，旨在充分利用 Nvidia、Apple、AMD 和 Intel 硬件的全部 GPU 能力。