Inference efficiency — korshunov.ai

Inference efficiency Halaman 1 / 17

media Hugging Face Forums · 2 jam lalu · 2 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 9 jam lalu · 4 tayangan

llama.cpp b10331 memperbaiki get_info server untuk melaporkan direktori kerja terisolasi yang benar

Proyek llama.cpp merilis build b10331, yang mencakup perbaikan untuk endpoint `get_info` server. Sebelumnya, ketika tidak ada direktori kerja saat ini eksplisit yang diberikan, fungsi secara salah kembali ke direktori kerja proses server, bahkan jika tools runtime dikonfigurasi.

github llama.cpp · 15 jam lalu

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

github llama.cpp · 16 jam lalu · 5 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10327 memperbaiki jumlah thread/blok pada kernel salinan terkuantisasi

Proyek llama.cpp merilis versi b10327, yang mencakup perbaikan untuk jumlah thread dan blok dalam peluncuran kernel salinan terkuantisasi di CUDA. Pembaruan ini mengatasi masalah yang diidentifikasi dalam pull request #26731.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10326 memperhitungkan jalur vocoder dalam penjadwalan

Proyek llama.cpp merilis build b10326, yang memodifikasi cara pengukuran waktu dihitung dengan memasukkan jalur vocoder.

github llama.cpp · 2 hari lalu

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10322 menggabungkan beban jendela SSM_CONV untuk percepatan ~1.85x

Proyek llama.cpp merilis build b10322, yang mencakup optimasi kinerja yang menggabungkan beban jendela SSM_CONV di backend SYCL.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10313 menambahkan penjadwal LRU ke server

Proyek llama.cpp telah merilis versi b10313, yang memperkenalkan penjadwal Least Recently Used (LRU) untuk komponen servernya. Pembaruan ini mencakup penanganan penggabungan permintaan dan perbaikan untuk kasus streaming.

github llama.cpp · 2 hari lalu

llama.cpp b10311 memperbaiki duplikasi aliran teks Qwen3-TTS

Proyek llama.cpp merilis build b10311, yang mencakup perbaikan untuk pipeline Qwen3-TTS. Pembaruan ini menyelesaikan masalah di mana model membaca ucapan input dua kali selama generasi.

github llama.cpp · 2 hari lalu · 1 tayangan

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk

Proyek llama.cpp telah merilis versi b10312, yang mencakup pembaruan spesifik pada komponen server. Perubahan utama mengatasi masalah di mana model sibuk dikeluarkan dari router.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

github llama.cpp · 2 hari lalu

llama.cpp b10305 menambahkan dukungan SYCL untuk OPs DSv4

Proyek llama.cpp telah merilis build b10305, yang memperkenalkan dukungan untuk operasi spesifik DSv4 di dalam backend SYCL. Pembaruan ini mencakup implementasi operator LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST, dan DSV4_HC_PRE.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10306 menambahkan jalur datar GLU SYCL dan mengonsolidasikan kernel

Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.

github llama.cpp · 2 hari lalu

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

Proyek llama.cpp telah merilis build b10298, yang memperkenalkan fungsi simpan dan muat chunk baru untuk modul mtmd. Pembaruan ini juga mencakup pembersihan kode dan pengujian tambahan.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp b10291 memperbaiki batching pengiriman Vulkan dan menambahkan alat debug DeviceLost

Proyek llama.cpp telah merilis versi b10291, yang mencakup perbaikan kritis untuk backend Vulkan bersama dengan pembaruan platform standar. Perubahan teknis utama mengatasi masalah ukuran batching pengiriman dan memperkenalkan kemampuan diagnostik baru untuk kesalahan driver.

github llama.cpp · 3 hari lalu

llama.cpp b10290 menambahkan ggml_build_forward_order untuk memperbaiki eksekusi graf audio

Proyek llama.cpp merilis build b10290, memperkenalkan fungsi baru `ggml_build_forward_order` ke dalam pustaka ggml. Perubahan ini mengatasi bug pada graf audio mtmd di mana penggunaan `ggml_build_forward_expand` sebagai petunjuk pengurutan murni menyebabkan cabang yang tidak dipilih dieksekusi dengan input usang.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10289 memperkuat file_glob_search dan memperbaiki penanganan jalur Windows

Rilis llama.cpp b10289 memperkuat jalan direktori file_glob_search server untuk mencegah loop tak hingga pada junction Windows dan meningkatkan pelaporan kesalahan untuk direktori yang tidak dapat dibaca.

media Hugging Face Forums · 3 hari lalu · 1 tayangan

QuantCheck memperingatkan untuk tidak mengasumsikan checkpoint akhir adalah yang terbaik untuk kuantisasi 4-bit

Sebuah alat baru bernama QuantCheck menyoroti bahwa checkpoint akhir pra-pelatihan mungkin bukan pilihan optimal untuk kuantisasi 4-bit, karena benchmark dapat tetap datar sementara kerapuhan meningkat. Penulis mengamati pola ini pada Pythia-160m, di mana checkpoint akhir mengalami sekitar empat kali lebih banyak kerusakan kualitas dibandingkan checkpoint sebelumnya dengan kualitas yang sama.