github llama.cpp · 7 jam lalu · inference

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

Pembaruan ini tersedia di berbagai platform dan backend, termasuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, dan Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 10.0), Android, dan iOS.

Rilis ini juga menyediakan biner untuk antarmuka llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

AI Hardware Fit menghubungkan kebutuhan VRAM model dengan pemilihan GPU

Pencipta AI Hardware Fit telah merilis alat browser gratis dan open-source yang dirancang untuk membantu pengguna menentukan apakah model lokal muat di GPU mereka serta membandingkan opsi perangkat keras yang sesuai. Alat ini mengatasi kompleksitas dalam menyusun file model, kuantisasi, panjang konteks, dan dukungan runtime dari berbagai sumber.

github llama.cpp · 4 hari lalu · 8 tayangan

llama.cpp b11203 menambahkan dukungan input F16 ke FWHT CUDA

Proyek llama.cpp merilis versi b11203, yang mencakup perubahan pada Transformasi Walsh-Hadamard Cepat (FWHT) CUDA untuk menerima input F16. Sebelumnya, FWHT CUDA hanya menerima input F32; pembaruan ini membuat tipe sumber menjadi parameter template sehingga kernel membaca sumber F16 secara langsung tanpa memerlukan salinan konversi.

github llama.cpp · 5 hari lalu · 21 tayangan

llama.cpp memperbaiki kegagalan operator MTT S5000 dan mengaktifkan jalur CUB

Proyek llama.cpp telah merilis perbaikan untuk kegagalan operator dan masalah build pada MUSA (MTT S5000), yang secara khusus menargetkan arsitektur PH1. Pembaruan ini menyelesaikan bug kritis yang menyebabkan hasil salah atau timeout pada perangkat keras ini.

github llama.cpp · 6 hari lalu · 22 tayangan

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

github llama.cpp · 11 hari lalu · 24 tayangan

llama.cpp b11059 menambahkan dukungan F16 ke kernel FWHT Metal

Proyek llama.cpp merilis build b11059, yang memperkenalkan pembaruan signifikan pada backend Metal untuk perangkat keras Apple Silicon. Perubahan utama adalah penambahan dukungan input F16 ke kernel Transformasi Walsh-Hadamard Cepat (FWHT), memungkinkan pembacaan sumber F16 secara langsung tanpa memerlukan salinan konversi.