github llama.cpp · 1 jam lalu · inference

llama.cpp b10509 menambahkan dukungan ggml_rope_set_offset untuk Metal, CUDA, dan Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10509, yang memperkenalkan dukungan untuk fungsi `ggml_rope_set_offset` di berbagai backend perangkat keras. Pembaruan ini mencakup implementasi CPU, Metal, CUDA, dan Vulkan untuk operasi baru.

Ditambahkan parameter `ggml_rope_set_offset` dan implementasi kernel CPU.
Diimplementasikan dukungan kernel Metal untuk fungsionalitas offset rope baru.
Diaktifkan dukungan CUDA untuk `ggml_rope_set_offset` sambil menghapus guard `supports_op`.
Ditambahkan dukungan backend Vulkan untuk `ggml_rope_set_offset` di Linux dan Windows.
Dihapus optimasi inplace dari operasi yang relevan.

Rilis ini menyediakan biner pra-kompilasi untuk macOS, iOS, Linux, Android, Windows, dan openEuler di berbagai arsitektur termasuk CPU, GPU, dan akselerator khusus seperti OpenVINO dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

Proyek llama.cpp merilis versi b10427, yang mencakup optimasi kinerja untuk GPU Intel Arc melalui SYCL. Pembaruan ini mengimplementasikan penggabungan operasi gate, up, dan GLU di dalam lapisan jaringan feed-forward padat (FFN) q4_K.

github llama.cpp · 7 hari lalu · 23 tayangan

llama.cpp b10413 menambahkan deteksi otomatis tipe spesifikasi draf dari metadata GGUF

Proyek llama.cpp merilis versi b10413, yang memperkenalkan deteksi otomatis tipe spesifikasi decoding spekulatif langsung dari metadata model GGUF draf.

github llama.cpp · 7 hari lalu · 26 tayangan

llama.cpp b10410 menghapus promosi tipe fp32 terpisah di jalur gemm non-oneDNN

Proyek llama.cpp telah merilis versi b10410, yang mencakup perubahan kode untuk backend SYCL. Pembaruan ini menghapus promosi tipe fp32 terpisah di jalur GEMM non-oneDNN dan alih-alih menggunakan promosi otomatis fp16.

github llama.cpp · 7 hari lalu · 25 tayangan

llama.cpp b10408 menambahkan kernel ESIMD Q3_K dan memindahkan kontrol ke runtime

Proyek llama.cpp merilis versi b10408, yang memperkenalkan kernel DMMV Q3_K ESIMD untuk GPU Intel. Rilis ini juga mencakup kernel ESIMD Q4_K dan Q6_K baru serta melakukan refaktor basis kode untuk memungkinkan kontrol ESIMD pada waktu eksekusi daripada waktu kompilasi.

github llama.cpp · 9 hari lalu · 23 tayangan

llama.cpp b10353 memperbaiki hasil salah diam-diam di kernel ROLL CUDA dan Metal

Proyek llama.cpp merilis build b10353, yang menangani bug kritis dalam operasi ggml_roll pada backend CUDA dan Metal. Sebelumnya, tensor sumber yang dipermutasi (tidak kontinu) menghasilkan hasil yang salah secara diam-diam karena backend ini mengabaikan informasi stride.