zhongkaifu는 Windows, macOS 및 Linux를 지원하며 C#으로 완전히 구축된 오픈소스 로컬 LLM 추론 엔진인 TensorSharp를 출시했습니다. 이 엔진은 Unsloth의 GGUF 모델을 처리하며, 멀티모달 기능을 갖춘 Gemma 4와 Qwen 3.6을 포함하고 OpenAI 및 Ollama와 호환되는 API를 제공합니다.
- TensorSharp는 llama.cpp를 래핑하는 대신 추론 엔진을 처음부터 구현했으며, CPU, CUDA, MLX 및 GGML 백엔드를 제공합니다.
- MoE 모델을 위한 페이징된 KV 캐시, 연속 배치 처리(SSD 기반 캐시) 등의 최적화를 통합했습니다.
- 벤치마크 결과에 따르면 TensorSharp는 CUDA 및 Vulkan 백엔드에서 다양한 디코드, 프리필 및 TTFT 메트릭에서 llama.cpp 대비 0.84x에서 1.28x의 성능 비율을 달성했습니다.
이 프로젝트는 콘솔 애플리케이션, 웹 기반 채팅봇 인터페이스 및 프로그래밍 접근을 위한 HTTP API를 제공하며, Nvidia, Apple, AMD 및 Intel 하드웨어 전반에서 GPU 기능을 최대한 활용하는 것을 목표로 합니다.