github llama.cpp · 1 jam lalu · inference

llama.cpp b10229 memperbaiki data profiling OpenCL yang tidak di-flush

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10229, yang mencakup perbaikan bug kritis untuk backend OpenCL. Pembaruan ini mengatasi masalah di mana data profiling gagal ditulis saat program berakhir.

Perbaikan ini meningkatkan `ref_count` di `ggml_backend_opencl_init()` untuk mencegahnya menjadi -1 dalam metode `free()`.
Ini memastikan bahwa data profiling di-flush dan disimpan dengan benar ketika `GGML_OPENCL_PROFILING` diaktifkan.
Binari tersedia untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, dan HIP.

Perubahan ini memastikan bahwa pengguna yang mengandalkan profiling OpenCL dapat menangkap dan menganalisis metrik kinerja dengan sukses tanpa kehilangan data.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Hardik Kumar mempublikasikan matriks harga inferensi HF dengan sebaran harga hingga 4,66x

Sebuah dataset baru yang dipublikasikan di Hugging Face menyediakan matriks harga komprehensif untuk penyedia inferensi model, mengungkapkan disparitas biaya yang signifikan untuk model yang sama di antara vendor yang berbeda.

github llama.cpp · 22 jam lalu · 7 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

media r/LocalLLaMA · 1 hari lalu · 3 tayangan

Meituan merilis LongCat-Flash-Lite-Sparse dengan jendela konteks 1M

Meituan telah merilis bobot untuk LongCat-Flash-Lite-Sparse, varian baru dari model LongCat-Flash-Lite-nya. Pembaruan ini memperkenalkan LongCat Sparse Attention (LSA) untuk menggantikan MLA padat dan memperluas dukungan panjang konteks asli hingga 1 juta token.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10218 menambahkan dukungan downsample minicpmv46

Proyek llama.cpp merilis build b10218, yang mencakup penambahan dukungan downsample minicpmv46 melalui pull request #25993. Pembaruan ini memperkenalkan merger VIT 4x ignore dan menempatkan mode downsample di dalam format GGUF.

github llama.cpp · 2 hari lalu · 8 tayangan

llama.cpp b10216 menambahkan dukungan pooling 1D ke backend Vulkan

Proyek llama.cpp merilis versi b10216, yang memperkenalkan dukungan penuh untuk GGML_OP_POOL_1D pada backend Vulkan. Pembaruan ini mencakup shader komputasi baru yang mencerminkan implementasi pool2d yang ada dan memperbaiki crash yang terjadi ketika dimensi tensor menghasilkan batas akhir negatif.