github llama.cpp · 1 jam lalu · inference

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

Perubahan utama dalam rilis ini meliputi:

Menambahkan dukungan mtmd untuk DeepSeek-V4-Flash-Vision-Exp.
Mengimplementasikan penanganan jumlah token min/max melalui CLI.
Beralih ke penggunaan GGML_ROPE_TYPE_VISION.
Memperbaiki logika penghitungan token dan menghapus kode debugging.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.

github llama.cpp · 9 jam lalu · 3 tayangan

llama.cpp b10759 menghindari inisialisasi tipe buffer KleidiAI saat dispatch

Proyek llama.cpp merilis build b10759, yang mencakup perbaikan untuk menghindari inisialisasi tipe buffer KleidiAI saat dispatch.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10756 membatasi permintaan ekstensi shader_bfloat16 Vulkan

Proyek llama.cpp merilis build b10756, yang memodifikasi perilaku backend Vulkan untuk hanya meminta ekstensi VK_KHR_shader_bfloat16 ketika didukung oleh perangkat keras.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10757 meningkatkan kinerja mat-vec IQ3_S untuk Vulkan pada ukuran batch yang lebih besar

Proyek llama.cpp merilis build b10757, yang mencakup optimasi spesifik untuk backend Vulkan. Pembaruan ini menangani ukuran batch yang lebih besar dari 4 secara efisien untuk perkalian matriks-vektor IQ3_S ketika NUM_COLS lebih besar dari 4.