github llama.cpp · 4 hari lalu · inference

llama.cpp b11203 menambahkan dukungan input F16 ke FWHT CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11203, yang mencakup perubahan pada Transformasi Walsh-Hadamard Cepat (FWHT) CUDA untuk menerima input F16. Sebelumnya, FWHT CUDA hanya menerima input F32; pembaruan ini membuat tipe sumber menjadi parameter template sehingga kernel membaca sumber F16 secara langsung tanpa memerlukan salinan konversi.

Implementasi memastikan bahwa `supports_op` dan panggilan dispatch berbagi predikat tunggal yang memeriksa kondisi kontiguitas dan bentuk, menutup celah di mana ketidakcocokan dapat menyebabkan kegagalan asersi. Test-backend-ops pada GPU A10 lulus semua 1297 uji MUL_MAT, termasuk 6 kasus Hadamard F16 baru alongside yang ada F32.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL, dan Snapdragon.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

ThermaCompute AI merilis CrashLens untuk triase log crash GPU lokal

ThermaCompute AI telah merilis CrashLens, alat gratis dan lokal yang dirancang untuk membantu insinyur menyelidiki crash GPU dengan menganalisis file log. Alat ini mengidentifikasi pola kegagalan yang diketahui dalam log dan menyarankan langkah selanjutnya yang spesifik untuk penyelidikan.

github llama.cpp · 8 jam lalu · 1 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

media Hugging Face Forums · 18 jam lalu · 1 tayangan

AI Hardware Fit menghubungkan kebutuhan VRAM model dengan pemilihan GPU

Pencipta AI Hardware Fit telah merilis alat browser gratis dan open-source yang dirancang untuk membantu pengguna menentukan apakah model lokal muat di GPU mereka serta membandingkan opsi perangkat keras yang sesuai. Alat ini mengatasi kompleksitas dalam menyusun file model, kuantisasi, panjang konteks, dan dukungan runtime dari berbagai sumber.

github llama.cpp · 5 hari lalu · 21 tayangan

llama.cpp memperbaiki kegagalan operator MTT S5000 dan mengaktifkan jalur CUB

Proyek llama.cpp telah merilis perbaikan untuk kegagalan operator dan masalah build pada MUSA (MTT S5000), yang secara khusus menargetkan arsitektur PH1. Pembaruan ini menyelesaikan bug kritis yang menyebabkan hasil salah atau timeout pada perangkat keras ini.

github llama.cpp · 6 hari lalu · 22 tayangan

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.