github llama.cpp · il y a 1 h · inference

llama.cpp b10311 corrige la duplication du flux texte de Qwen3-TTS

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10311, qui inclut une correction pour le pipeline Qwen3-TTS. La mise à jour résout un problème où le modèle lisait deux fois l'énoncé d'entrée pendant la génération.

Corrige un bug dans la surcouche de pré-remplissage non streaming qui causait l'alimentation à nouveau du flux texte pendant la génération Qwen3-TTS.
Corrige l'état caché du texte final pour qu'il se réduise à une seule ligne tts_pad, correspondant à la disposition du pré-remplissage.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10313 ajoute un planificateur LRU au serveur

Le projet llama.cpp a publié la version b10313, qui introduit un planificateur LRU (Least Recently Used) pour son composant serveur. Cette mise à jour inclut la gestion de la fusion des requêtes et des corrections pour les cas de streaming.

github llama.cpp · il y a 1 h En direct

llama.cpp b10312 avec correction du serveur pour les modèles chargés

Le projet llama.cpp a publié la version b10312, qui inclut une mise à jour spécifique du composant serveur. Le changement principal résout un problème où des modèles chargés étaient évacués du routeur.

github llama.cpp · il y a 4 h

llama.cpp b10307 corrige l'analyse NVFP4 de SYCL

Le projet llama.cpp a publié la version b10307, qui inclut une correction pour le code GPU SYCL afin d'analyser correctement les facteurs d'échelle UE4M3 utilisés dans la quantification NVFP4.

github llama.cpp · il y a 5 h

llama.cpp b10305 ajoute le support SYCL pour les OPs DSv4

Le projet llama.cpp a publié la compilation b10305, qui introduit le support pour des opérations spécifiques de DSv4 au sein du backend SYCL. Cette mise à jour inclut l'implémentation des opérateurs LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST et DSV4_HC_PRE.

github llama.cpp · il y a 5 h

llama.cpp b10306 ajoute un chemin plat pour GLU SYCL et consolide les noyaux

La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.