github llama.cpp · 2 jam lalu · inference

llama.cpp b10813 menambahkan jalur Adreno xmem SDPA dan memperbaiki kesalahan numerik

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10813, yang memperkenalkan implementasi OpenCL untuk GPU Adreno menggunakan jalur xmem SDPA (Scaled Dot-Product Attention). Pembaruan ini juga mengatasi kesalahan numerik dalam mekanisme GQA dan perhatian termaskir.

Menambahkan jalur Adreno xmem SDPA untuk akselerasi OpenCL.
Menghapus penimpaan pemprofilan antrian spesifik Adreno.
Memperbaiki kesalahan numerik pada GQA dan perhatian termaskir.
Memperkenalkan variabel lingkungan GGML_OPENCL_XMEM_SDPA untuk mengontrol fitur tersebut.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, GPU, dan perangkat keras khusus.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10814 memperluas cakupan operasi elementwise dan pergerakan data OpenCL

Rilis llama.cpp b10814 memperluas dukungan backend OpenCL dengan menambahkan sembilan operasi unary elementwise baru dan meningkatkan kernel pergerakan data.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10816 menambahkan penyetelan fa-vec untuk M3 dan biner baru

Proyek llama.cpp telah merilis versi b10816, yang mencakup pembaruan pada backend Metal untuk perangkat Apple Silicon. Rilis ini berfokus pada penambahan penyetelan fast-vector yang tersisa secara khusus untuk arsitektur chip M3.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp 0.4.0 menambahkan dukungan untuk Qwen3.8-Flash-Next dan Nemotron-3-Puzzle

llama.cpp versi 0.4.0 memperkenalkan dukungan arsitektur awal untuk model Qwen3.8-Flash-Next dan NVIDIA Nemotron-3-Puzzle-75B-A9B, bersamaan dengan peningkatan pustaka ggml mendasar ke versi 0.23.0.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10798 membuat aliran output info build dapat dikonfigurasi

Proyek llama.cpp merilis versi b10798, memperkenalkan perubahan untuk membuat aliran output informasi build dapat dikonfigurasi. Pembaruan ini memungkinkan `llama_print_build_info` menulis ke FILE* yang disediakan pemanggil alih-alih mengodekan stderr secara keras.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.