github llama.cpp · 1 jam lalu · inference

llama.cpp b10247 memperbaiki crash pada model MoE lebar dengan menggunakan alokasi dinamis

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10247, yang menangani masalah stabilitas saat memuat model Mixture of Experts (MoE) besar pada pengaturan multi-backend. Pembaruan ini menggantikan array berukuran tetap dalam penjadwal backend dengan buffer yang dialokasikan secara dinamis untuk menangani pemisahan grafik yang melebihi 30 tensor input.

Menggantikan GGML_SCHED_MAX_SPLIT_INPUTS dengan alokasi dinamis untuk input grafik terpisah.
Memperbaiki crash saat memuat model MoE lebar seperti Gemma 4, Qwen MoE, Mixtral, dan DeepSeek.
Memperbarui perhitungan graph_size untuk menggunakan jumlah input aktual alih-alih konstanta tetap.
Menyediakan biner untuk macOS (Apple Silicon/Intel), Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL), Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP), Android, dan iOS.

Perubahan ini memungkinkan pengguna menjalankan arsitektur MoE kompleks tanpa mengalami crash terkait penjadwalan pada sistem dengan beberapa perangkat backend.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

github llama.cpp · 7 jam lalu · 2 tayangan

llama.cpp b10242 menambahkan sampler backend CUDA untuk penalti

Proyek llama.cpp merilis versi b10242, memperkenalkan sampler backend baru untuk penalti yang memungkinkan penanganan penalti dialihkan ke GPU. Perubahan ini meningkatkan fungsi `common_sampler_init` dan memperbarui struktur `llama_sampler_penalties` agar mewarisi dari `llama_sampler_backend`, sehingga memungkinkan penyesuaian frekuensi dan kehadiran di backend.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10241 memperbaiki data-races SMEM di block_reduce untuk CUDA

Proyek llama.cpp merilis versi b10241, yang mengatasi bug kritis di backend CUDA. Pembaruan ini menyelesaikan data-races yang terjadi saat menggunakan kembali memori bersama (SMEM) selama reduksi blok.

media Hugging Face Forums · 13 jam lalu · 1 tayangan

Quesma memetakan kurasi 218 alat dan makalah untuk efisiensi biaya token LLM

Quesma telah merilis daftar terbuka yang dikurasi berisi 218 entri yang melacak di mana token dibelanjakan dalam alur kerja LLM dan agen. Sumber daya ini mencakup pemantauan, caching semantik, model lokal murah, rekayasa konteks, dan tata kelola biaya.

github llama.cpp · 16 jam lalu

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.