github llama.cpp · 9 jam lalu · inference

llama.cpp b11320 menambahkan penangan dialek Harmony LLM-jp-4.1

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11320, yang mencakup penangan dialek baru untuk model LLM-jp-4.1.

Pembaruan ini menambahkan dukungan untuk dialek Harmony LLM-jp-4.1 guna mengatasi masalah kompatibilitas dengan tokenizernya dan pemformatan panggilan alat paralel.
Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows, dan openEuler.
Paket UI mandiri juga disertakan dalam distribusi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Local inference

llama.cpp b11307 mempertahankan urutan batch untuk decoding spekulatif

Proyek llama.cpp merilis build b11307, yang memperbaiki urutan input lapisan untuk mempertahankan urutan batch asli selama decoding spekulatif. Perubahan ini memastikan bahwa urutan token dipertahankan dengan benar untuk embedding NextN yang tidak dimask dan kompatibel dengan pemisahan tensor.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b11301 memperbaiki overflow integer di ggml/gguf

Proyek llama.cpp telah merilis build b11301, yang mencakup perbaikan untuk masalah overflow integer dalam komponen ggml dan gguf. Pembaruan ini menangani logika validasi untuk mencegah potensi kesalahan saat menangani tensor nol elemen.

github llama.cpp · 23 jam lalu · 3 tayangan

llama.cpp b11302 memperbaiki race data ThreadSanitizer pada pengindeks jarang

Proyek llama.cpp merilis build b11302, yang mengatasi masalah konkurensi kritis yang diidentifikasi oleh ThreadSanitizer dalam pipeline CI. Pembaruan ini menyelesaikan race data dalam mekanisme perhatian jarang di mana beberapa utas CPU secara tidak benar menulis ke elemen memori yang sama.

github llama.cpp · 23 jam lalu · 2 tayangan

llama.cpp b11298 menambahkan dukungan dflash untuk konversi dan ekstraksi fitur

Proyek llama.cpp telah merilis build b11298, yang memperkenalkan dukungan untuk format dflash. Pembaruan ini memungkinkan konversi model ke format ini serta kemampuan ekstraksi fitur selanjutnya.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.