github llama.cpp · 1 jam lalu · inference

llama.cpp b10604 menambahkan dukungan format DSV4 Deepseek 4 dan biner untuk macOS/iOS

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10604, memperkenalkan dukungan untuk format model Deepseek 4 (DSV4) bersama dengan biner pra-kompilasi baru untuk macOS dan iOS.

Menambahkan dukungan tensor sm untuk Deepseek 4 (DSV4) dengan granularitas yang lebih kasar untuk pemisahan kepala dan perbaikan untuk dspark.
Mengaktifkan penyimpanan model untuk DSV4 dan memungkinkan dflash kembali pada perangkat tertentu.
Termasuk fungsionalitas allreduce tertunda untuk ahli bersama.
Menyediakan biner Apple Silicon untuk macOS, XCFrameworks untuk iOS, dan biner yang diperbarui untuk Linux, Windows, Android, dan openEuler melalui CPU, GPU, dan backend khusus.

Rilis ini memungkinkan pengguna menjalankan model Deepseek 4 menggunakan llama.cpp dan menyediakan build asli yang diperbarui untuk perangkat Apple.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10598 menggunakan algoritma resize pillow-accurate dan memperbaiki resize_algo untuk semua model

Proyek llama.cpp merilis build b10598, yang memperbarui modul mtmd untuk menggunakan algoritma resize pillow-accurate dan memperbaiki resize_algo untuk semua model. Rilis ini juga mencakup optimasi kecepatan.

github llama.cpp · 21 jam lalu · 3 tayangan

llama.cpp b10593 memperbaiki rollback DeepseekV4 dan pemuatan model

Proyek llama.cpp telah merilis build b10593, yang mengatasi masalah kritis dengan arsitektur model DeepseekV4. Pembaruan ini secara khusus menyelesaikan kegagalan rollback yang terjadi selama pemrosesan multi-sekuens.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.

github llama.cpp · 2 hari lalu · 8 tayangan

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Proyek llama.cpp merilis build b10568, yang memperbarui penanganan model untuk menggunakan fungsi `ggml_rope_set_offset()`. Perubahan ini sebagian diterapkan untuk mendukung DeepSeek 2.

media Hugging Face Forums · 3 hari lalu · 6 tayangan

Mesin Celestium menambahkan optimasi VRAM dan fallback CPU untuk SDXL

Mesin Celestium telah memperkenalkan beberapa peningkatan untuk meningkatkan kinerja SDXL pada perangkat keras dengan VRAM rendah. Perubahan ini berfokus pada manajemen memori, stabilitas, dan mekanisme fallback untuk memastikan generasi yang konsisten bahkan pada sistem yang terbatas.