github llama.cpp · 4 jam lalu · inference

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10717, yang mencakup peningkatan spesifik untuk backend SYCL pada GPU Intel. Pembaruan ini meningkatkan kemampuan untuk mengambil informasi memori bebas dengan memanfaatkan API L0 SYCL.

Meningkatkan pengambilan informasi memori melalui API L0 SYCL.
Menghapus kode debug dan menerapkan pembaruan format.
Memperbarui dokumentasi SYCL.md untuk GGML_SYCL_GET_MEM_API.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Rilis ini memastikan kompatibilitas perangkat keras yang lebih luas di berbagai platform sambil secara khusus menangani kemampuan manajemen memori untuk pengguna GPU Intel melalui backend SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 10 jam lalu · 3 tayangan

llama.cpp b10712 menambahkan seleksi radix top-k Vulkan untuk Qwen 3.8 Flash Next

Proyek llama.cpp merilis build b10712, memperkenalkan shader pengurutan radix top-k baru yang dirancang untuk Vulkan untuk mendukung nilai k yang lebih besar atau sama dengan 1024. Pembaruan ini secara khusus menargetkan model Qwen 3.8 Flash Next dan mencakup uji terkait serta fusi top-k qsa.

github llama.cpp · 17 jam lalu · 6 tayangan

llama.cpp b10705 meningkatkan penanganan TENSOR_READ_LAZY

Proyek llama.cpp telah merilis versi b10705, yang mencakup peningkatan pada mekanisme penanganan TENSOR_READ_LAZY. Pembaruan ini memaksa tensor malas di CPU ketika pengaturan malas diaktifkan.

github llama.cpp · 18 jam lalu · 4 tayangan

llama.cpp b10702 mengoptimalkan dot-product Q2_0 untuk AMD gfx1201

Proyek llama.cpp merilis versi b10702, yang mencakup optimasi spesifik untuk jalur dot-product kuantisasi Q2_0 pada arsitektur gfx1201 dari AMD. Pembaruan ini memperluas implementasi HIP untuk menggunakan instruksi permutasi amdgcn native, meningkatkan kinerja untuk konfigurasi perangkat keras tertentu ini.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b10691 memperbaiki crash null-pipeline Metal pada mul_mat F16

Proyek llama.cpp merilis build b10691, yang mengatasi masalah stabilitas kritis di backend Metal. Pembaruan ini secara khusus menyelesaikan crash null-pipeline yang terjadi selama operasi perkalian sumber F16.