Local inference — korshunov.ai

Local inference Halaman 1 / 2

media Hugging Face Forums · 2 jam lalu · 2 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 15 jam lalu

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

github llama.cpp · 16 jam lalu · 5 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.

github llama.cpp · 16 jam lalu

llama.cpp b10329 hanya menampilkan direktori kerja saat alat membacanya

Server dan UI llama.cpp telah diperbarui untuk menampilkan kontrol direktori kerja secara kondisional. Sebelumnya, chip ini muncul setiap kali alat bawaan apa pun diekspos, bahkan jika tidak ada alat yang benar-benar menggunakannya.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10327 memperbaiki jumlah thread/blok pada kernel salinan terkuantisasi

Proyek llama.cpp merilis versi b10327, yang mencakup perbaikan untuk jumlah thread dan blok dalam peluncuran kernel salinan terkuantisasi di CUDA. Pembaruan ini mengatasi masalah yang diidentifikasi dalam pull request #26731.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10313 menambahkan penjadwal LRU ke server

Proyek llama.cpp telah merilis versi b10313, yang memperkenalkan penjadwal Least Recently Used (LRU) untuk komponen servernya. Pembaruan ini mencakup penanganan penggabungan permintaan dan perbaikan untuk kasus streaming.

github llama.cpp · 2 hari lalu · 1 tayangan

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk

Proyek llama.cpp telah merilis versi b10312, yang mencakup pembaruan spesifik pada komponen server. Perubahan utama mengatasi masalah di mana model sibuk dikeluarkan dari router.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

github llama.cpp · 2 hari lalu

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

Proyek llama.cpp telah merilis build b10298, yang memperkenalkan fungsi simpan dan muat chunk baru untuk modul mtmd. Pembaruan ini juga mencakup pembersihan kode dan pengujian tambahan.

github llama.cpp · 4 hari lalu · 1 tayangan

llama.cpp b10282 menambahkan penghitung spec-decode ke endpoint /metrics

Proyek llama.cpp telah merilis versi b10282, yang memperkenalkan kemampuan pemantauan baru untuk decoding spekulatif. Server sekarang menyertakan penghitung spec-decode di endpoint /metrics-nya, memungkinkan pengguna melacak metrik kinerja terkait fitur ini.

github llama.cpp · 5 hari lalu · 3 tayangan

llama.cpp b10271 menambahkan direktori kerja per percakapan dan dukungan jalur Windows

Rilis llama.cpp b10271 memperkenalkan fitur direktori kerja per percakapan ke UI, memungkinkan pengguna untuk menetapkan dan menavigasi direktori secara independen untuk setiap sesi chat.

github llama.cpp · 5 hari lalu · 5 tayangan

llama.cpp b10270 menambahkan dukungan Qwen3-TTS dengan perubahan pemecah pada llama-tts

Proyek llama.cpp merilis versi b10270, memperkenalkan dukungan untuk model Qwen3-TTS. Pembaruan ini mencakup perubahan pemecah pada biner llama-tts dan mengimplementasikan modifikasi arsitektur signifikan untuk menangani alur kerja teks-ke-suara baru.

github llama.cpp · 5 hari lalu

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.

github llama.cpp · 5 hari lalu · 3 tayangan

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

Proyek llama.cpp merilis versi b10254, memperkenalkan template obrolan baru untuk model DeepSeek V4 Flash 0731 bersama dengan pembaruan pada template DeepSeek V4 yang ada.

github llama.cpp · 5 hari lalu

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash

Proyek llama.cpp telah merilis build b10251, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.7-Flash.

github llama.cpp · 6 hari lalu · 2 tayangan

llama.cpp b10238 menambahkan dukungan MTP untuk Qwen3-Next

Proyek llama.cpp merilis build b10238, yang memperkenalkan dukungan Multi-Token Prediction (MTP) untuk keluarga model Qwen3-Next. Pembaruan ini mencakup perubahan implementasi spesifik untuk menangani lapisan MTP dan perbaikan terkait pemeriksaan tipe Python dalam basis kode.

github llama.cpp · 6 hari lalu · 5 tayangan

llama.cpp b10237 menambahkan dukungan MTP untuk DeepSeek V3.2

Proyek llama.cpp merilis build b10237, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model DeepSeek V3.2.

github llama.cpp · 7 hari lalu · 7 tayangan

llama.cpp b10232 mengimplementasikan hiper-koneksi DeepSeek V4 di Metal

Proyek llama.cpp merilis build b10232, yang memperkenalkan dukungan untuk hiper-koneksi DeepSeek V4 melalui backend Metal. Pembaruan ini menambahkan implementasi operasi GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE, dan GGML_OP_DSV4_HC_POST.

github llama.cpp · 8 hari lalu · 10 tayangan

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

github llama.cpp · 9 hari lalu · 9 tayangan

llama.cpp b10213 menambahkan dukungan untuk kuantisasi cache kv berputar

Proyek llama.cpp telah merilis versi b10213, memperkenalkan dukungan untuk kuantisasi cache kunci-nilai yang diputar. Pembaruan ini tersedia di berbagai platform dan akselerator perangkat keras.