github llama.cpp · 1 jam lalu · inference

llama.cpp b10412 mengaktifkan sampling backend untuk dflash dan dspark

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10412, yang memperkenalkan dukungan sampling backend untuk backend dflash dan dspark. Pembaruan ini juga memungkinkan nilai p_min lebih besar dari 0 dalam logika sampling backend dan menambahkan perlindungan yang sesuai.

Mengaktifkan sampling backend untuk dflash dan dspark.
Memungkinkan p_min > 0 dalam sampling backend dengan guard tambahan.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.

Rilis ini memperluas opsi akselerasi perangkat keras yang tersedia bagi pengguna llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

lab OpenAI News · 2 jam lalu

OpenAI memperagakan mode Ultrafast menjalankan GPT-5.6 Sol hingga 14X lebih cepat

OpenAI meluncurkan pratinjau Ultrafast, tingkat layanan baru yang menjalankan model GPT-5.6 Sol hingga 14 kali lebih cepat daripada pemrosesan standar. Didukung oleh perangkat keras Cerebras, mode ini menghasilkan hingga 750 token keluaran per detik dan awalnya tersedia melalui API OpenAI.

github llama.cpp · 3 jam lalu

llama.cpp b10410 menghapus promosi tipe fp32 terpisah di jalur gemm non-oneDNN

Proyek llama.cpp telah merilis versi b10410, yang mencakup perubahan kode untuk backend SYCL. Pembaruan ini menghapus promosi tipe fp32 terpisah di jalur GEMM non-oneDNN dan alih-alih menggunakan promosi otomatis fp16.

github llama.cpp · 4 jam lalu

llama.cpp b10408 menambahkan kernel ESIMD Q3_K dan memindahkan kontrol ke runtime

Proyek llama.cpp merilis versi b10408, yang memperkenalkan kernel DMMV Q3_K ESIMD untuk GPU Intel. Rilis ini juga mencakup kernel ESIMD Q4_K dan Q6_K baru serta melakukan refaktor basis kode untuk memungkinkan kontrol ESIMD pada waktu eksekusi daripada waktu kompilasi.

media Hugging Face Forums · 9 jam lalu · 1 tayangan

liventruth merilis UL-SMF untuk Kompresi KV-Cache 384x menggunakan FSQ

Pengembang liventruth telah membuka sumber Fabric Memori Keadaan laten Terpadu (UL-SMF), sebuah arsitektur yang dirancang bersama perangkat keras-perangkat lunak yang mengompres cache Key-Value FP32 standar ke dalam ruang laten diskrit berdimensi 16 menggunakan Kuantisasi Skalar Hingga (FSQ).