github llama.cpp · baru saja · inference

llama.cpp b10817 menambahkan pelacakan memori SYCL melalui GGML_SYCL_MEMTRACE

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10817 memperkenalkan fitur pelacakan memori SYCL baru untuk membantu pengembang memahami pola alokasi memori perangkat. Fungsionalitas ini dikontrol oleh dua variabel lingkungan baru yang memungkinkan pencatatan detail penggunaan memori.

Mengatur GGML_SYCL_MEMTRACE=1 menampilkan penggunaan memori per situs, diperbarui hanya ketika alokasi meningkat lebih dari 64MiB.
Mengatur GGML_SYCL_MEMTRACE=2 mencatat setiap peristiwa alokasi dan dealokasi individu.
Ambang batas pelaporan default dapat disesuaikan menggunakan variabel GGML_SYCL_MEMTRACE_STEP.

Alat ini dimaksudkan untuk membantu dalam debug masalah terkait memori dan telah terbukti berguna untuk meningkatkan algoritma --fit.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp 0.4.0 menambahkan dukungan untuk Qwen3.8-Flash-Next dan Nemotron-3-Puzzle

llama.cpp versi 0.4.0 memperkenalkan dukungan arsitektur awal untuk model Qwen3.8-Flash-Next dan NVIDIA Nemotron-3-Puzzle-75B-A9B, bersamaan dengan peningkatan pustaka ggml mendasar ke versi 0.23.0.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10795 menggabungkan operasi SYCL

Proyek llama.cpp merilis versi b10795, yang mencakup optimasi baru untuk backend SYCL. Pembaruan ini mengaktifkan penggabungan rantai RMS_NORM+MUL+ADD dan ADD+ADD residual di bawah flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

media r/LocalLLaMA · 2 hari lalu · 6 tayangan

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.

github llama.cpp · 2 hari lalu · 8 tayangan

llama.cpp menambahkan dukungan sparse flash attention untuk prefill Metal

Proyek llama.cpp telah memperkenalkan dukungan sparse flash attention (FA) untuk backend Metal, yang secara khusus menargetkan fase prefill dari inferensi model. Pembaruan ini mencakup kernel baru yang memadatkan entri mask hingga ke daftar indeks per-baris dan memperluas kernel FA vektor dengan pengumpulan indeks sparse opsional.