Proyek ggml-org merilis versi b9878, yang mencakup perbaikan untuk parameter tensor-split usang yang memengaruhi model draf. Pembaruan ini menangani masalah metadata yang secara khusus terkait dengan perhatian GQA dalam komponen ggml-backend-meta.

  • Memperbaiki metadata split tensor untuk perhatian GQA.
  • Membatalkan commit sebelumnya yang memperkenalkan hack aset di ggml-backend-meta.
  • Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan platform openEuler.

Rilis ini memastikan penanganan parameter yang benar untuk model draf sambil mendistribusikan biner yang diperbarui di seluruh arsitektur perangkat keras yang didukung.