zhongkaifuは、Windows、macOS、LinuxをサポートするC#で完全に構築されたオープンソースのローカルLLM推論エンジンであるTensorSharpをリリースしました。このエンジンはUnsloth由来のGGUFモデルを処理し、マルチモーダル機能を備えたGemma 4やQwen 3.6に対応しつつ、OpenAIおよびOllamaと互換性のあるAPIを提供します。

  • TensorSharpはllama.cppをラップするのではなく、推論エンジンをゼロから実装しており、CPU、CUDA、MLX、GGMLのバックエンドを提供しています。
  • MoEモデル向けにページドKVキャッシュ、連続バッチ処理、SSDベースのキャッシュなどの最適化を組み込んでいます。
  • ベンチマークでは、CUDAおよびVulkanバックエンド上で各種デコード、プレフィル、TTFTメトリクスにおいてllama.cppと比較して0.84倍から1.28倍のパフォーマンス比を達成しています。

本プロジェクトはコンソールアプリケーション、Webベースのチャットボットインターフェース、プログラムによるアクセス用のHTTP APIを提供し、Nvidia、Apple、AMD、Intelのハードウェア全体でGPUの能力を最大限に引き出すことを目指しています。