github llama.cpp · 9 jam lalu · inference

llama.cpp b10759 menghindari inisialisasi tipe buffer KleidiAI saat dispatch

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10759, yang mencakup perbaikan untuk menghindari inisialisasi tipe buffer KleidiAI saat dispatch.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO), Android, dan openEuler.

Dukungan KleidiAI secara eksplisit dinonaktifkan untuk macOS Apple Silicon dalam build ini.

Pratinjau untuk Windows arm64 dengan CUDA 13 disertakan bersama rilis standar CUDA 12.4 dan 13.3.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10756 membatasi permintaan ekstensi shader_bfloat16 Vulkan

Proyek llama.cpp merilis build b10756, yang memodifikasi perilaku backend Vulkan untuk hanya meminta ekstensi VK_KHR_shader_bfloat16 ketika didukung oleh perangkat keras.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10757 meningkatkan kinerja mat-vec IQ3_S untuk Vulkan pada ukuran batch yang lebih besar

Proyek llama.cpp merilis build b10757, yang mencakup optimasi spesifik untuk backend Vulkan. Pembaruan ini menangani ukuran batch yang lebih besar dari 4 secara efisien untuk perkalian matriks-vektor IQ3_S ketika NUM_COLS lebih besar dari 4.