github llama.cpp · 2 jam lalu · inference

llama.cpp b10231 menambahkan dukungan sidecar DSpark

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10231, memperkenalkan dukungan untuk sidecar decoding spekulatif DSpark. Pembaruan ini memungkinkan file dspark diselesaikan secara serupa dengan sidecar spekulatif lainnya, dengan tag -hfd diterapkan pada mereka dan pemilihan otomatis memprioritaskan dspark daripada dflash karena Markov head tambahan.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x dengan CPU, Vulkan, ROCm 7.2, OpenVINO, dan backend SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler (x86 dan aarch64 dengan ACL Graph).

Pembaruan ini memperluas opsi akselerasi perangkat keras yang tersedia bagi pengguna llama.cpp di berbagai sistem operasi dan arsitektur GPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10235 menambahkan op SILU_BACK untuk f32

Proyek llama.cpp telah merilis versi b10235, memperkenalkan operasi baru SILU_BACK untuk presisi f32. Pembaruan ini mencakup implementasi operator silu_back dan menghapus asersi redundan dari file ggml-metal-ops.cpp.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

github llama.cpp · 6 jam lalu

llama.cpp b10229 memperbaiki data profiling OpenCL yang tidak di-flush

Proyek llama.cpp merilis versi b10229, yang mencakup perbaikan bug kritis untuk backend OpenCL. Pembaruan ini mengatasi masalah di mana data profiling gagal ditulis saat program berakhir.

media Hugging Face Forums · 21 jam lalu · 6 tayangan

Hardik Kumar mempublikasikan matriks harga inferensi HF dengan sebaran harga hingga 4,66x

Sebuah dataset baru yang dipublikasikan di Hugging Face menyediakan matriks harga komprehensif untuk penyedia inferensi model, mengungkapkan disparitas biaya yang signifikan untuk model yang sama di antara vendor yang berbeda.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.