github llama.cpp · 1 jam lalu · inference

llama.cpp b10581 menambahkan dukungan DSpark untuk bailinmoe3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10581, yang memperkenalkan dukungan untuk backend DSpark guna mengaktifkan model bailinmoe3.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 dan arm64), dan Android (arm64).
Akselerasi GPU tersedia melalui CUDA 12.4/13.3, Vulkan, OpenCL Adreno, ROCm 7.14, OpenVINO, dan SYCL di platform yang didukung.
Dukungan Bailinmoe3 secara khusus memanfaatkan backend DSpark sebagaimana dijelaskan dalam pull request #27508.
macOS Apple Silicon dengan KleidiAI dan Ubuntu x64 dengan ROCm 7.14 saat ini dinonaktifkan untuk build ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.

github llama.cpp · 3 jam lalu · 1 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

llama.cpp b10577 memperbaiki draft-mtp dengan embeddings

mtmd menambahkan dukungan WebP melalui ffmpeg

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2