github llama.cpp · 1 jam lalu · inference

llama.cpp b10311 memperbaiki duplikasi aliran teks Qwen3-TTS

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10311, yang mencakup perbaikan untuk pipeline Qwen3-TTS. Pembaruan ini menyelesaikan masalah di mana model membaca ucapan input dua kali selama generasi.

Memperbaiki bug di overlay praisi non-streaming yang menyebabkan aliran teks diberi makan lagi selama generasi Qwen3-TTS.
Memperbaiki keadaan tersembunyi teks akhir agar runtuh menjadi satu baris tts_pad, sesuai dengan tata letak praisi.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10313 menambahkan penjadwal LRU ke server

Proyek llama.cpp telah merilis versi b10313, yang memperkenalkan penjadwal Least Recently Used (LRU) untuk komponen servernya. Pembaruan ini mencakup penanganan penggabungan permintaan dan perbaikan untuk kasus streaming.

github llama.cpp · 1 jam lalu Langsung

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk

Proyek llama.cpp telah merilis versi b10312, yang mencakup pembaruan spesifik pada komponen server. Perubahan utama mengatasi masalah di mana model sibuk dikeluarkan dari router.

github llama.cpp · 4 jam lalu

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

github llama.cpp · 5 jam lalu

llama.cpp b10305 menambahkan dukungan SYCL untuk OPs DSv4

Proyek llama.cpp telah merilis build b10305, yang memperkenalkan dukungan untuk operasi spesifik DSv4 di dalam backend SYCL. Pembaruan ini mencakup implementasi operator LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST, dan DSV4_HC_PRE.

github llama.cpp · 5 jam lalu

llama.cpp b10306 menambahkan jalur datar GLU SYCL dan mengonsolidasikan kernel

Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.