github llama.cpp · 1 jam lalu · inference

llama.cpp b10291 memperbaiki batching pengiriman Vulkan dan menambahkan alat debug DeviceLost

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10291, yang mencakup perbaikan kritis untuk backend Vulkan bersama dengan pembaruan platform standar. Perubahan teknis utama mengatasi masalah ukuran batching pengiriman dan memperkenalkan kemampuan diagnostik baru untuk kesalahan driver.

Memperbaiki bug di mana ambang batas pengiriman diterapkan terlalu lambat di pipeline Vulkan.
Menambahkan alat debug untuk memberikan informasi lebih detail saat mendiagnosis kesalahan driver DeviceLost.
Mengganti panggilan abort dengan pengecualian throw dan mengimplementasikan makro logging untuk penanganan kesalahan yang lebih baik.
Membersihkan ketergantungan melingkar dalam basis kode.

Rilis ini meningkatkan stabilitas bagi pengguna yang menjalankan llama.cpp pada perangkat keras yang mendukung Vulkan dengan menyelesaikan masalah timing pengiriman tertentu dan memberikan visibilitas yang lebih baik ke penyebab crash.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

github llama.cpp · 8 jam lalu

llama.cpp b10290 menambahkan ggml_build_forward_order untuk memperbaiki eksekusi graf audio

Proyek llama.cpp merilis build b10290, memperkenalkan fungsi baru `ggml_build_forward_order` ke dalam pustaka ggml. Perubahan ini mengatasi bug pada graf audio mtmd di mana penggunaan `ggml_build_forward_expand` sebagai petunjuk pengurutan murni menyebabkan cabang yang tidak dipilih dieksekusi dengan input usang.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10289 memperkuat file_glob_search dan memperbaiki penanganan jalur Windows

Rilis llama.cpp b10289 memperkuat jalan direktori file_glob_search server untuk mencegah loop tak hingga pada junction Windows dan meningkatkan pelaporan kesalahan untuk direktori yang tidak dapat dibaca.

media Hugging Face Forums · 13 jam lalu · 1 tayangan

QuantCheck memperingatkan untuk tidak mengasumsikan checkpoint akhir adalah yang terbaik untuk kuantisasi 4-bit

Sebuah alat baru bernama QuantCheck menyoroti bahwa checkpoint akhir pra-pelatihan mungkin bukan pilihan optimal untuk kuantisasi 4-bit, karena benchmark dapat tetap datar sementara kerapuhan meningkat. Penulis mengamati pola ini pada Pythia-160m, di mana checkpoint akhir mengalami sekitar empat kali lebih banyak kerusakan kualitas dibandingkan checkpoint sebelumnya dengan kualitas yang sama.

github llama.cpp · 18 jam lalu

llama.cpp b10285 menambahkan batching multi-baris untuk deepseek-ocr

Proyek llama.cpp telah merilis build b10285, yang memperkenalkan dukungan untuk batching multi-baris di modul mtmd secara khusus untuk model deepseek-ocr. Pembaruan ini memungkinkan sistem menyatukan baris deepseek-ocr dalam satu operasi daripada memprosesnya secara individual.