github llama.cpp · 1 jam lalu · inference

llama.cpp b11382 menambahkan dukungan f16 ke WebGPU fill/set_rows

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b11382, yang mencakup pembaruan kunci untuk backend WebGPU-nya. Rilis ini menambahkan dukungan floating-point 16-bit (f16) secara khusus untuk operasi `fill` dan `set_rows` di dalam implementasi WebGPU.

Perubahan kode sumber dilacak di pull request #29897 pada repositori ggml-org/llama.cpp.
Binari disediakan untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.
Rilis ini juga mencakup binari UI standar llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b11370 menggabungkan ahli bersama ke MMVQ

Proyek llama.cpp telah merilis build b11370, yang mencakup optimasi CUDA untuk menggabungkan ahli bersama ke dalam arsitektur Mixture of MoE dengan Kuantisasi Vektor (MMVQ). Perubahan ini merupakan bagian dari pull request #29184 dan juga menangani pemeriksaan buffer null serta penanganan argumen untuk stride_col_dst.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b11335 merute sm70 ke tabel Turing MMVQ untuk performa Volta

Proyek llama.cpp merilis versi b11335, yang mencakup optimasi CUDA untuk GPU Volta. Pembaruan ini mengarahkan arsitektur sm_70 ke tabel nwarps Turing MMVQ yang ada alih-alih jatuh ke konfigurasi generik.

media Hugging Face Forums · 3 hari lalu · 6 tayangan

ThermaCompute AI merilis CrashLens untuk triase log crash GPU lokal

ThermaCompute AI telah merilis CrashLens, alat gratis dan lokal yang dirancang untuk membantu insinyur menyelidiki crash GPU dengan menganalisis file log. Alat ini mengidentifikasi pola kegagalan yang diketahui dalam log dan menyarankan langkah selanjutnya yang spesifik untuk penyelidikan.

github llama.cpp · 4 hari lalu · 8 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

media Hugging Face Forums · 4 hari lalu · 5 tayangan

AI Hardware Fit menghubungkan kebutuhan VRAM model dengan pemilihan GPU

Pencipta AI Hardware Fit telah merilis alat browser gratis dan open-source yang dirancang untuk membantu pengguna menentukan apakah model lokal muat di GPU mereka serta membandingkan opsi perangkat keras yang sesuai. Alat ini mengatasi kompleksitas dalam menyusun file model, kuantisasi, panjang konteks, dan dukungan runtime dari berbagai sumber.