github llama.cpp · baru saja · inference

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

Mendukung input visi untuk DeepSeek 4 dengan benar.
Binari tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Pembaruan ini memungkinkan pengguna menjalankan DeepSeek 4 dengan kemampuan visi pada build llama.cpp terbaru di platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.

github llama.cpp · 9 jam lalu · 3 tayangan

llama.cpp b10759 menghindari inisialisasi tipe buffer KleidiAI saat dispatch

Proyek llama.cpp merilis build b10759, yang mencakup perbaikan untuk menghindari inisialisasi tipe buffer KleidiAI saat dispatch.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10756 membatasi permintaan ekstensi shader_bfloat16 Vulkan

Proyek llama.cpp merilis build b10756, yang memodifikasi perilaku backend Vulkan untuk hanya meminta ekstensi VK_KHR_shader_bfloat16 ketika didukung oleh perangkat keras.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10757 meningkatkan kinerja mat-vec IQ3_S untuk Vulkan pada ukuran batch yang lebih besar

Proyek llama.cpp merilis build b10757, yang mencakup optimasi spesifik untuk backend Vulkan. Pembaruan ini menangani ukuran batch yang lebih besar dari 4 secara efisien untuk perkalian matriks-vektor IQ3_S ketika NUM_COLS lebih besar dari 4.