github llama.cpp · 1 jam lalu · inference

llama.cpp b10290 menambahkan ggml_build_forward_order untuk memperbaiki eksekusi graf audio

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10290, memperkenalkan fungsi baru `ggml_build_forward_order` ke dalam pustaka ggml. Perubahan ini mengatasi bug pada graf audio mtmd di mana penggunaan `ggml_build_forward_expand` sebagai petunjuk pengurutan murni menyebabkan cabang yang tidak dipilih dieksekusi dengan input usang.

Metode sebelumnya memaksa komputasi pada cabang yang tidak dipilih, menyebabkan kegagalan asersi batas `get_rows` pada CPU karena data `inp_code0` yang usang.
Fungsi baru menyisipkan node tanpa flag komputasi, mengembalikannya hanya ketika cabang tersebut benar-benar dipilih.
Build b10290 menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.
XCFramework iOS dan build UI mandiri juga disertakan dalam rilis ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10289 memperkuat file_glob_search dan memperbaiki penanganan jalur Windows

Rilis llama.cpp b10289 memperkuat jalan direktori file_glob_search server untuk mencegah loop tak hingga pada junction Windows dan meningkatkan pelaporan kesalahan untuk direktori yang tidak dapat dibaca.

media Hugging Face Forums · 6 jam lalu

QuantCheck memperingatkan untuk tidak mengasumsikan checkpoint akhir adalah yang terbaik untuk kuantisasi 4-bit

Sebuah alat baru bernama QuantCheck menyoroti bahwa checkpoint akhir pra-pelatihan mungkin bukan pilihan optimal untuk kuantisasi 4-bit, karena benchmark dapat tetap datar sementara kerapuhan meningkat. Penulis mengamati pola ini pada Pythia-160m, di mana checkpoint akhir mengalami sekitar empat kali lebih banyak kerusakan kualitas dibandingkan checkpoint sebelumnya dengan kualitas yang sama.

github llama.cpp · 12 jam lalu

llama.cpp b10285 menambahkan batching multi-baris untuk deepseek-ocr

Proyek llama.cpp telah merilis build b10285, yang memperkenalkan dukungan untuk batching multi-baris di modul mtmd secara khusus untuk model deepseek-ocr. Pembaruan ini memungkinkan sistem menyatukan baris deepseek-ocr dalam satu operasi daripada memprosesnya secara individual.

github llama.cpp · 13 jam lalu

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

Proyek llama.cpp telah merilis versi b10282, yang memperkenalkan kemampuan pemantauan baru untuk decoding spekulatif. Server sekarang menyertakan penghitung spec-decode di endpoint /metrics-nya, memungkinkan pengguna melacak metrik kinerja terkait fitur ini.

github llama.cpp · 1 hari lalu

llama.cpp b10275 mendekode output OEM Windows ke UTF-8 dalam alat bawaan

Proyek llama.cpp merilis build b10275, yang memperbaiki masalah pengkodean karakter di Windows di mana karakter beraksen hilang secara diam-diam. Pembaruan memastikan bahwa teks dari proses anak yang menulis di halaman kode OEM didekode dengan benar ke UTF-8 sebelum mencapai lapisan JSON.