github llama.cpp · 1 jam lalu · inference

llama.cpp b10249 menambahkan alat get_info ke server

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10249, yang memperkenalkan alat `get_info` baru ke komponen server. Pembaruan ini juga mencakup perbaikan dokumentasi untuk flag `--rpc`.

Server sekarang mengekspos alat `get_info` untuk mengambil informasi sistem.
Penanganan hasil probe diperketat untuk melaporkan 'unknown' (tidak diketahui) ketika proses gagal atau melebihi batas waktu, mencegah teks diagnostik disalahartikan sebagai nama OS.
Penghapusan output dan batas timeout ditambahkan untuk memastikan penanganan data yang bersih.
Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.

Rilis ini membuat alat `get_info` tersedia untuk diagnostik sisi server sambil menyediakan biner yang diperbarui di semua platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10247 memperbaiki crash pada model MoE lebar dengan menggunakan alokasi dinamis

Proyek llama.cpp merilis versi b10247, yang menangani masalah stabilitas saat memuat model Mixture of Experts (MoE) besar pada pengaturan multi-backend. Pembaruan ini menggantikan array berukuran tetap dalam penjadwal backend dengan buffer yang dialokasikan secara dinamis untuk menangani pemisahan grafik yang melebihi 30 tensor input.

github llama.cpp · 3 jam lalu

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

github llama.cpp · 8 jam lalu · 2 tayangan

llama.cpp b10242 menambahkan sampler backend CUDA untuk penalti

Proyek llama.cpp merilis versi b10242, memperkenalkan sampler backend baru untuk penalti yang memungkinkan penanganan penalti dialihkan ke GPU. Perubahan ini meningkatkan fungsi `common_sampler_init` dan memperbarui struktur `llama_sampler_penalties` agar mewarisi dari `llama_sampler_backend`, sehingga memungkinkan penyesuaian frekuensi dan kehadiran di backend.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10241 memperbaiki data-races SMEM di block_reduce untuk CUDA

Proyek llama.cpp merilis versi b10241, yang mengatasi bug kritis di backend CUDA. Pembaruan ini menyelesaikan data-races yang terjadi saat menggunakan kembali memori bersama (SMEM) selama reduksi blok.

media Hugging Face Forums · 14 jam lalu · 1 tayangan

Quesma memetakan kurasi 218 alat dan makalah untuk efisiensi biaya token LLM

Quesma telah merilis daftar terbuka yang dikurasi berisi 218 entri yang melacak di mana token dibelanjakan dalam alur kerja LLM dan agen. Sumber daya ini mencakup pemantauan, caching semantik, model lokal murah, rekayasa konteks, dan tata kelola biaya.