github llama.cpp · 1 jam lalu · inference

llama.cpp b11370 menggabungkan ahli bersama ke MMVQ

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b11370, yang mencakup optimasi CUDA untuk menggabungkan ahli bersama ke dalam arsitektur Mixture of MoE dengan Kuantisasi Vektor (MMVQ). Perubahan ini merupakan bagian dari pull request #29184 dan juga menangani pemeriksaan buffer null serta penanganan argumen untuk stride_col_dst.

Menggabungkan ahli bersama ke MMVQ untuk backend CUDA.
Menambahkan pemeriksaan null untuk buffer guna meningkatkan stabilitas.
Memindahkan stride_col_dst ke argumen penggabungan.

Rilis ini menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan iOS di berbagai akselerator perangkat keras termasuk CPU, Vulkan, ROCm, OpenVINO, SYCL, dan Snapdragon.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b11335 merute sm70 ke tabel Turing MMVQ untuk performa Volta

Proyek llama.cpp merilis versi b11335, yang mencakup optimasi CUDA untuk GPU Volta. Pembaruan ini mengarahkan arsitektur sm_70 ke tabel nwarps Turing MMVQ yang ada alih-alih jatuh ke konfigurasi generik.

media Hugging Face Forums · 2 hari lalu · 2 tayangan

ThermaCompute AI merilis CrashLens untuk triase log crash GPU lokal

ThermaCompute AI telah merilis CrashLens, alat gratis dan lokal yang dirancang untuk membantu insinyur menyelidiki crash GPU dengan menganalisis file log. Alat ini mengidentifikasi pola kegagalan yang diketahui dalam log dan menyarankan langkah selanjutnya yang spesifik untuk penyelidikan.

github llama.cpp · 3 hari lalu · 4 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

media Hugging Face Forums · 3 hari lalu · 3 tayangan

AI Hardware Fit menghubungkan kebutuhan VRAM model dengan pemilihan GPU

Pencipta AI Hardware Fit telah merilis alat browser gratis dan open-source yang dirancang untuk membantu pengguna menentukan apakah model lokal muat di GPU mereka serta membandingkan opsi perangkat keras yang sesuai. Alat ini mengatasi kompleksitas dalam menyusun file model, kuantisasi, panjang konteks, dan dukungan runtime dari berbagai sumber.

github llama.cpp · 6 hari lalu · 10 tayangan

llama.cpp b11203 menambahkan dukungan input F16 ke FWHT CUDA

Proyek llama.cpp merilis versi b11203, yang mencakup perubahan pada Transformasi Walsh-Hadamard Cepat (FWHT) CUDA untuk menerima input F16. Sebelumnya, FWHT CUDA hanya menerima input F32; pembaruan ini membuat tipe sumber menjadi parameter template sehingga kernel membaca sumber F16 secara langsung tanpa memerlukan salinan konversi.