github llama.cpp · 1 jam lalu · inference

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

Pembaruan ini memperbaiki konversi nilai skala dari E4M3 bertanda menjadi tanpa tanda, karena NVFP4 menyimpan faktor-faktor ini dalam byte UE4M3 individual.
Binari tersedia untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.
Sebuah build UI juga disediakan untuk penggunaan umum.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

Proyek llama.cpp telah merilis build b10298, yang memperkenalkan fungsi simpan dan muat chunk baru untuk modul mtmd. Pembaruan ini juga mencakup pembersihan kode dan pengujian tambahan.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

Proyek llama.cpp telah merilis versi b10282, yang memperkenalkan kemampuan pemantauan baru untuk decoding spekulatif. Server sekarang menyertakan penghitung spec-decode di endpoint /metrics-nya, memungkinkan pengguna melacak metrik kinerja terkait fitur ini.

github llama.cpp · 3 hari lalu

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash