github llama.cpp · 1 jam lalu · inference

llama.cpp b10198 menambahkan dukungan Vulkan untuk concat kuantisasi

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10198, yang memperkenalkan dukungan untuk operasi concatenasi kuantisasi di dalam backend Vulkan.

Pembaruan teknis utama adalah penambahan dukungan Vulkan untuk concat kuantisasi, yang diimplementasikan dalam pull request #25684.
Build macOS Apple Silicon dengan KleidiAI secara eksplisit dinonaktifkan dalam rilis ini.
Binari disediakan untuk berbagai platform termasuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android, dan openEuler.
Binari UI mandiri juga disertakan dalam paket rilis.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10180 menambahkan jalur cepat kontigu dan matematika indeks 32-bit untuk operasi unair SYCL

Proyek llama.cpp telah merilis build b10180, memperkenalkan optimasi kinerja untuk backend SYCL. Pembaruan ini mengimplementasikan jalur cepat kontigu dan mengalihkan matematika indeks elemen per elemen untuk menggunakan fastdiv dengan bilangan bulat 32-bit.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10155 menambahkan dukungan audio MiMo-V2.5

Proyek llama.cpp telah merilis build b10155, yang memperkenalkan dukungan untuk model input audio MiMo-V2.5. Pembaruan ini mencakup konverter GGUF untuk audio MiMo dan mengimplementasikan logika backend C++ yang diperlukan untuk menangani model audio berbasis RVQ.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10150 menyesuaikan logika pengalihan ggml dan memperbaiki grafik dsv4

Proyek llama.cpp telah merilis build b10150, yang mencakup penyesuaian pada logika ggml untuk operasi pengalihan ke backend berat. Pembaruan ini juga menangani perbaikan untuk grafik llama dsv4.

media Hugging Face Forums · 3 hari lalu · 2 tayangan

TraceML menambahkan callback Hugging Face Trainer untuk mendiagnosis bottleneck pemuatan data

Penulis telah mengintegrasikan alat diagnostik ke dalam TraceML, sebuah proyek observabilitas PyTorch sumber terbuka, untuk membantu pengguna membedakan antara masalah kinerja pelatihan yang dibatasi oleh komputasi GPU dan yang dibatasi oleh input. Fitur baru ini memungkinkan pengembang dengan cepat mengidentifikasi apakah utilisasi GPU yang rendah disebabkan oleh pemuatan data yang lambat atau batas komputasi model yang sebenarnya.

github llama.cpp · 3 hari lalu · 6 tayangan

Aaron Teo menambahkan argumen -lm mlock ke llama.cpp

Aaron Teo telah mengirimkan perubahan ke repositori llama.cpp yang memperkenalkan argumen baris perintah `-lm mlock` baru. Penambahan ini memungkinkan pengguna untuk mengunci memori secara eksplisit di wilayah tempat kode melakukan operasi `mlock` tetapi tidak menggunakan `mmap`.