github llama.cpp · 2 jam lalu · inference

llama.cpp b10814 memperluas cakupan operasi elementwise dan pergerakan data OpenCL

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10814 memperluas dukungan backend OpenCL dengan menambahkan sembilan operasi unary elementwise baru dan meningkatkan kernel pergerakan data.

Menambahkan operasi unary elementwise yang diperluas termasuk sgn, step, elu, hardswish, hardsigmoid, floor, ceil, round, dan trunc untuk mencegah fallback CPU.
Mengimplementasikan kernel salinan f32 kontigu yang didispatch ke seluruh perangkat untuk pergerakan linear, mengoptimalkan kinerja untuk tensor dengan sedikit baris panjang.
Memperluas dukungan CONCAT ke semua tipe yang mudah disalin (f16, bf16, i8, i16, i32, i64) dengan mengunci kernel pada ukuran elemen bukan tipe spesifik.

Perubahan ini meningkatkan cakupan dan efisiensi OpenCL untuk backend non-CPU di macOS, Linux, Windows, dan Android.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10813 menambahkan jalur Adreno xmem SDPA dan memperbaiki kesalahan numerik

Proyek llama.cpp merilis build b10813, yang memperkenalkan implementasi OpenCL untuk GPU Adreno menggunakan jalur xmem SDPA (Scaled Dot-Product Attention). Pembaruan ini juga mengatasi kesalahan numerik dalam mekanisme GQA dan perhatian termaskir.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10816 menambahkan penyetelan fa-vec untuk M3 dan biner baru

Proyek llama.cpp telah merilis versi b10816, yang mencakup pembaruan pada backend Metal untuk perangkat Apple Silicon. Rilis ini berfokus pada penambahan penyetelan fast-vector yang tersisa secara khusus untuk arsitektur chip M3.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp 0.4.0 menambahkan dukungan untuk Qwen3.8-Flash-Next dan Nemotron-3-Puzzle

llama.cpp versi 0.4.0 memperkenalkan dukungan arsitektur awal untuk model Qwen3.8-Flash-Next dan NVIDIA Nemotron-3-Puzzle-75B-A9B, bersamaan dengan peningkatan pustaka ggml mendasar ke versi 0.23.0.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp b10798 membuat aliran output info build dapat dikonfigurasi

Proyek llama.cpp merilis versi b10798, memperkenalkan perubahan untuk membuat aliran output informasi build dapat dikonfigurasi. Pembaruan ini memungkinkan `llama_print_build_info` menulis ke FILE* yang disediakan pemanggil alih-alih mengodekan stderr secara keras.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.