github llama.cpp · 1 jam lalu · inference

llama.cpp b10242 menambahkan sampler backend CUDA untuk penalti

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10242, memperkenalkan sampler backend baru untuk penalti yang memungkinkan penanganan penalti dialihkan ke GPU. Perubahan ini meningkatkan fungsi `common_sampler_init` dan memperbarui struktur `llama_sampler_penalties` agar mewarisi dari `llama_sampler_backend`, sehingga memungkinkan penyesuaian frekuensi dan kehadiran di backend.

Implementasi mencakup logika untuk inisialisasi backend, penerapan penalti, dan dukungan untuk penalti top-k dalam pengambilan sampel backend.
Stabilitas numerik ditingkatkan dengan mempertahankan logits yang dimask sebagai -Inf untuk mencegah generasi NaN selama pengambilan sampel.
Validasi memastikan nilai penalti pengulangan bersifat hingga dan lebih besar dari 0, dengan tes ditambahkan untuk parameter tidak valid.
Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL), dan arsitektur openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10241 memperbaiki data-races SMEM di block_reduce untuk CUDA

Proyek llama.cpp merilis versi b10241, yang mengatasi bug kritis di backend CUDA. Pembaruan ini menyelesaikan data-races yang terjadi saat menggunakan kembali memori bersama (SMEM) selama reduksi blok.

media Hugging Face Forums · 6 jam lalu · 1 tayangan

Quesma memetakan kurasi 218 alat dan makalah untuk efisiensi biaya token LLM

Quesma telah merilis daftar terbuka yang dikurasi berisi 218 entri yang melacak di mana token dibelanjakan dalam alur kerja LLM dan agen. Sumber daya ini mencakup pemantauan, caching semantik, model lokal murah, rekayasa konteks, dan tata kelola biaya.

github llama.cpp · 9 jam lalu

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 10 jam lalu · 3 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

media Hugging Face Forums · 12 jam lalu · 2 tayangan

Qxern-v6 menggunakan token laten dan sidecar AST untuk transfer kode yang lebih cepat dan akurat

Sistem Qxern-v6 memungkinkan dua LLM berkomunikasi melalui 32 token laten terkompresi sambil mempertahankan akurasi simbol yang tepat melalui sidecar Abstract Syntax Tree (AST) deterministik adaptif. Dibangun oleh pengembang berusia 15 tahun, arsitektur ini menggunakan Qwen2.5-Coder-1.5B untuk mengompresi kode dan decoder Qwen3.5-0.8B yang beku untuk menafsirkannya tanpa melihat teks mentah.