zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.
- O TensorSharp implementa o mecanismo de inferência do zero em vez de envolver llama.cpp, oferecendo backends para CPU, CUDA, MLX e GGML.
- Ele incorpora otimizações como cache KV paginado, agrupamento contínuo e cache baseado em SSD para modelos MoE.
- Os benchmarks mostram que o TensorSharp alcança taxas de desempenho variando de 0.84x a 1.28x em comparação com llama.cpp em várias métricas de decode, prefill e TTFT nos backends CUDA e Vulkan.
O projeto fornece um aplicativo de console, uma interface de chatbot baseada na web e APIs HTTP para acesso programático, visando aproveitar ao máximo a capacidade da GPU em hardware Nvidia, Apple, AMD e Intel.