github llama.cpp · 20 jam lalu · inference

Rilis llama.cpp b11101 memungkinkan panggilan find_package berulang untuk llama

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11101, yang mencakup perbaikan sistem build yang memungkinkan panggilan find_package berulang untuk pustaka llama.

cmake: mengizinkan panggilan find_package berulang untuk llama (PR #29228)
Binari macOS/iOS disediakan untuk Apple Silicon (arm64), Intel (x64), dan iOS XCFramework; dukungan KleidiAI dinonaktifkan.
Binari Linux tersedia untuk Ubuntu x64, arm64, dan s390x di berbagai backend CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, dan Snapdragon.
Binari Android arm64 dirilis untuk CPU dan Snapdragon (CPU, GPU Adreno, NPU Hexagon).
Binari Windows disediakan untuk CPU x64 dan arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 10.0.
Dukungan openEuler sebagian besar dinonaktifkan, dengan hanya konfigurasi spesifik 310p dan 910b (ACL Graph) yang terdaftar.

Rilis ini menyediakan binari yang diperbarui untuk berbagai akselerator perangkat keras dan sistem operasi, bersama dengan perbaikan cmake.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 14 jam lalu · 11 tayangan

llama.cpp b11111 menambahkan kernel optimasi flash attention untuk Intel Xe

Proyek llama.cpp merilis build b11111, yang memperkenalkan kernel optimasi flash attention berbasis Vulkan untuk jalur split k pada arsitektur Xe-LPG Plus, Xe2, dan Xe3.

github llama.cpp · 17 jam lalu · 9 tayangan

llama.cpp menambahkan dukungan DFlash untuk HunyuanOCR dan memperbaiki konversi draf

Proyek llama.cpp telah menambahkan dukungan untuk dekode spekulatif DFlash dengan model HunyuanOCR dengan mengekspos tensor input lapisan dalam grafik target. Perubahan ini memungkinkan model draf membaca aliran residual, sehingga permintaan gambar dapat berjalan sukses dengan tingkat penerimaan draf sekitar 0,5 dan output OCR yang identik secara byte dibandingkan dengan eksekusi non-spekulatif.

lab Hugging Face Blog · 21 jam lalu · 10 tayangan

Transformers menambahkan dukungan GGUF melalui kernel ggml untuk inferensi lokal

Pustaka Transformers dari Hugging Face kini mendukung pemuatan model terkuantisasi GGUF, memanfaatkan kernel ggml di bawahnya untuk membawa performa mendekati llama.cpp. Integrasi ini memungkinkan pengembang menjalankan checkpoint terkuantisasi langsung dalam API berbasis PyTorch standar pada perangkat keras yang didukung.

github llama.cpp · 1 hari lalu · 11 tayangan

llama.cpp b11097 menambahkan kernel biner dp4a untuk A8 Q4_0 non-MoE

Proyek llama.cpp telah merilis versi b11097, yang memperkenalkan kernel biner OpenCL untuk format A8 Q4_0 non-MoE dp4a.