github llama.cpp · 13 jam lalu · inference

llama.cpp b10754 memperbaiki pembacaan di luar batas pada kernel gambar OpenCL Adreno

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10754, yang mencakup perbaikan kritis untuk OpenCL pada GPU Adreno untuk mencegah pembacaan memori di luar batas pada kernel pemrosesan gambar.

Pengambilan baris decode q4_K GEMV sekarang dibatasi pada grid x yang dipad.
Kontrak tiling untuk GEMM KQ/KQV gambar ditegakkan secara ketat.
Logika split untuk gambar KQ/KQV ditentukan saat dispatch, bukan bergantung pada strides.

Pembaruan ini memastikan stabilitas dan kebenaran bagi pengguna yang menjalankan llama.cpp dengan akselerasi OpenCL pada perangkat keras Adreno.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.