github llama.cpp · 1 jam lalu · inference

llama.cpp b10216 menambahkan dukungan pooling 1D ke backend Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10216, yang memperkenalkan dukungan penuh untuk GGML_OP_POOL_1D pada backend Vulkan. Pembaruan ini mencakup shader komputasi baru yang mencerminkan implementasi pool2d yang ada dan memperbaiki crash yang terjadi ketika dimensi tensor menghasilkan batas akhir negatif.

Menambahkan struktur vk_op_pool1d_push_constants dan bidang pipeline_pool1d_f32 untuk operasi pooling 1D.
Mengimplementasikan shader pool1d.compute untuk menangani logika pooling 1D di Vulkan.
Memperbaiki logika shader dengan mendaftarkan pool1d_f32 dan memperbaiki indeks dimensi tensor serta skala pooling rata-rata.
Menyelesaikan masalah crash batas ketika k0 < p0 dan memperluas cakupan pengujian untuk perbaikan tersebut.

Rilis ini memungkinkan pengguna memanfaatkan lapisan pooling 1D dalam model yang dipercepat oleh Vulkan, dengan biner tersedia untuk macOS, Linux, Windows, Android, dan openEuler di CPU, CUDA, ROCm, dan backend lainnya.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10215 menambahkan pemeriksaan versi driver GPU Intel Windows untuk memperbaiki crash

Proyek llama.cpp merilis build b10215, yang memperkenalkan pemeriksaan versi driver untuk GPU Intel di Windows guna mengurangi masalah crash. Perubahan ini mengatasi ketidakstabilan yang disebabkan oleh versi driver tertentu, secara khusus memperbaiki crash yang dimulai dari driver 32.0.101.8860.

github llama.cpp · 4 jam lalu

llama.cpp b10213 menambahkan dukungan untuk kuantisasi cache kv berputar

Proyek llama.cpp telah merilis versi b10213, memperkenalkan dukungan untuk kuantisasi cache kunci-nilai yang diputar. Pembaruan ini tersedia di berbagai platform dan akselerator perangkat keras.

media r/LocalLLaMA · 4 jam lalu

Pengujian awal DeepSeek v4 Flash menunjukkan peningkatan signifikan dalam kemampuan desain UI/UX

Pengujian awal model DeepSeek v4 Flash menunjukkan peningkatan yang nyata dalam keterampilan desain antarmuka pengguna dan pengalaman pengguna. Meskipun ada peningkatan ini, model tersebut diketahui rakus token.

github llama.cpp · 5 jam lalu

llama.cpp b10212 memuat tensor MTP hanya saat digunakan

Proyek llama.cpp merilis versi b10212, yang mencakup perubahan untuk memuat tensor Multi-Token Prediction (MTP) hanya jika benar-benar digunakan. Pembaruan ini memastikan bahwa tensor MTP dilewati selama pemuatan pada model-model lain yang mendukung fitur tersebut tetapi tidak membutuhkannya.

github llama.cpp · 5 jam lalu

llama.cpp b10210 memperbaiki token yang diterima selama replikasi token draf

Proyek llama.cpp telah merilis versi b10210, yang mencakup koreksi pada logika server untuk menangani token yang diterima ketika replikasi token draf diperlukan.