github llama.cpp · 1 jam lalu · inference

llama.cpp b10241 memperbaiki data-races SMEM di block_reduce untuk CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10241, yang mengatasi bug kritis di backend CUDA. Pembaruan ini menyelesaikan data-races yang terjadi saat menggunakan kembali memori bersama (SMEM) selama reduksi blok.

Memperbaiki ketiadaan resync setelah membaca dari SMEM di block_reduce untuk mencegah data-races.
Mengimplementasikan double-buffering untuk operasi softmax dan normalisasi baris tunggal.
Menambahkan komentar penjelasan dan memory barriers secara khusus untuk skenario multi-warp.
Menyediakan biner untuk macOS, Linux, Windows, Android, dan iOS melalui CPU, CUDA, Vulkan, ROCm, dan backend lainnya.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Quesma memetakan kurasi 218 alat dan makalah untuk efisiensi biaya token LLM

Quesma telah merilis daftar terbuka yang dikurasi berisi 218 entri yang melacak di mana token dibelanjakan dalam alur kerja LLM dan agen. Sumber daya ini mencakup pemantauan, caching semantik, model lokal murah, rekayasa konteks, dan tata kelola biaya.

github llama.cpp · 7 jam lalu

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 8 jam lalu · 3 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

media Hugging Face Forums · 10 jam lalu · 2 tayangan

Qxern-v6 menggunakan token laten dan sidecar AST untuk transfer kode yang lebih cepat dan akurat

Sistem Qxern-v6 memungkinkan dua LLM berkomunikasi melalui 32 token laten terkompresi sambil mempertahankan akurasi simbol yang tepat melalui sidecar Abstract Syntax Tree (AST) deterministik adaptif. Dibangun oleh pengembang berusia 15 tahun, arsitektur ini menggunakan Qwen2.5-Coder-1.5B untuk mengompresi kode dan decoder Qwen3.5-0.8B yang beku untuk menafsirkannya tanpa melihat teks mentah.

github llama.cpp · 10 jam lalu · 6 tayangan

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.