github llama.cpp · baru saja · inference

llama.cpp b10782 memperbaiki optimisasi grafik CUDA untuk multi-GPU

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10782, yang menangani masalah kritis di backend CUDA untuk pengaturan multi-GPU. Pembaruan ini memungkinkan stream konkuren per split dan mengaktifkan optimisasi grafik CUDA agar berjalan dengan benar di beberapa perangkat.

Memperbaiki bug di mana event CUDA secara salah terikat ke GPU yang aktif saat pembuatan, menyebabkan optimisasi grafik multi-GPU dilewati.
Mengimplementasikan pengaturan perangkat eksplisit melalui `ggml_cuda_set_device` untuk memastikan optimisasi diterapkan pada split yang benar per perangkat.
Perbaikan ini hanya aktif ketika `GGML_CUDA_GRAPH_OPT=1` diaktifkan; perilaku default tetap tidak berubah.

Perubahan ini memastikan bahwa optimisasi grafik berjalan sekali per split alih-alih dilewati, memungkinkan inferensi multi-GPU memanfaatkan akselerasi CUDA dengan benar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10780 meningkatkan API SYCL untuk mendukung salin peer-to-peer

Proyek llama.cpp telah merilis versi b10780, yang mencakup peningkatan spesifik pada backend SYCL. Pembaruan ini memodifikasi API untuk mengaktifkan kemampuan salin peer-to-peer untuk perangkat SYCL.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10781 memperbaiki keterlibatan jalur dekuantisasi Vulkan FA

Proyek llama.cpp merilis build b10781, yang mencakup perbaikan untuk jalur dekuantisasi perhatian cepat (FA) Vulkan. Pembaruan ini mengatasi masalah di mana shader memeriksa `nb[3]` secara salah bahkan ketika `ne[3] == 1`, menyebabkan jalur tersebut hanya aktif ketika cache penuh.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp menambahkan dukungan untuk NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp memperkenalkan dukungan untuk model NVIDIA Nemotron-3-Puzzle-75B-A9B, mengaktifkan inferensi untuk arsitektur Mixture of Experts ini. Pembaruan ini mengimplementasikan infrastruktur untuk ukuran feed-forward ahli per-layer yang bervariasi dan routing top-k, yang diperlukan karena model memiliki 40 lapisan MoE dengan nilai n_ff_exp dan top-k yang berbeda.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10777 mengurangi pekerjaan redundan di Q4_K multi-column MMVQ

Proyek llama.cpp merilis build b10777, yang mencakup optimasi untuk backend SYCL pada perkalian matriks-vektor (MMVQ) multi-kolom dengan Q4_K. Pembaruan ini berfokus pada pengurangan pekerjaan komputasi redundan melalui strategi pembongkaran bobot dan penggunaan kembali aktivasi.

github llama.cpp · 9 jam lalu · 1 tayangan

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.