github llama.cpp · 1 jam lalu · inference

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

Mengoptimalkan mikrokernel geglu semua-dalam-satu (hex-geglu)
Mengaktifkan sumber tidak kontinu dan DMA berstrid untuk hex-geglu
Mengaktifkan sumber tidak kontinu dan DMA berstrid untuk sisa operasi ACT
Memgeneralisasi fungsi GLU per-thread melalui makro DEFINE_GLU_PER_THREAD
Memindahkan UNARY_SILU dan UNARY_GELU ke unary-ops
Mengganti penggunaan scratchpad ops_context generik dengan perhitungan lokal htp_vtcm_layout

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · 2 hari lalu

llama.cpp b10085 memperbaiki grounding Qwen3-VL dengan menyelaraskan interpolasi embedding posisi

Proyek llama.cpp merilis build b10085, yang mencakup perbaikan untuk interpolasi embedding posisi model visi Qwen3-VL guna menyelesaikan ketidaksesuaian koordinat grounding.

github llama.cpp · 4 hari lalu · 2 tayangan

llama.cpp b10069 menambahkan dukungan broadcast OpenCL untuk Adreno MUL_MAT

Proyek llama.cpp merilis build b10069, yang mencakup pembaruan OpenCL spesifik untuk GPU Qualcomm Adreno. Perubahan utama melibatkan dukungan operasi broadcast untuk kernel Adreno MUL_MAT dan menghormati offset tampilan untuk varian Q8_0 MUL_MAT untuk mengaktifkan fungsionalitas multi-stream di llama-server.

github llama.cpp · 5 hari lalu · 1 tayangan

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.