github llama.cpp · il y a 1 h · inference

llama.cpp b10412 active l'échantillonnage backend pour dflash et dspark

Traduit de English → Français

Le projet llama.cpp a publié la version b10412, qui introduit le support de l'échantillonnage backend pour les backends dflash et dspark. Cette mise à jour permet également des valeurs p_min supérieures à 0 dans la logique d'échantillonnage backend et ajoute les sauvegardes correspondantes.

Active l'échantillonnage backend pour dflash et dspark.
Permet p_min > 0 dans l'échantillonnage backend avec des garde-fous ajoutés.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

Cette version élargit les options d'accélération matérielle disponibles pour les utilisateurs de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10414 ajoute le support de TQ2_0 et optimise le noyau mul_mv

Le projet llama.cpp a publié la compilation b10414, introduisant le support du type de quantification ternaire GGML_TYPE_TQ2_0 dans le backend Metal. Cette mise à jour inclut également des optimisations pour le noyau mul_mv de tenseurs contigus (cont).

lab OpenAI News · il y a 2 h

OpenAI présente le mode Ultrafast exécutant GPT-5.6 Sol jusqu'à 14 fois plus rapidement

OpenAI lance une préversion d'Ultrafast, un nouveau niveau de service qui exécute le modèle GPT-5.6 Sol jusqu'à 14 fois plus vite que le traitement standard. Alimenté par du matériel Cerebras, ce mode génère jusqu'à 750 tokens de sortie par seconde et est initialement disponible via l'API OpenAI.

github llama.cpp · il y a 3 h

llama.cpp b10410 supprime la promotion de type fp32 séparée dans le chemin gemm non-oneDNN

Le projet llama.cpp a publié la version b10410, qui inclut un changement de code pour le backend SYCL. Cette mise à jour supprime la promotion de type fp32 séparée dans le chemin GEMM non-oneDNN et utilise à la place la promotion automatique fp16.

github llama.cpp · il y a 4 h

llama.cpp b10408 ajoute le noyau ESIMD Q3_K et déplace le contrôle vers l'exécution

Le projet llama.cpp a publié la version b10408, qui introduit un noyau DMMV Q3_K ESIMD pour les GPU Intel. Cette version comprend également de nouveaux noyaux ESIMD Q4_K et Q6_K et refactorise la base de code pour permettre le contrôle d'ESIMD à l'exécution plutôt qu'à la compilation.

media Hugging Face Forums · il y a 9 h · 1 vue

liventruth publie UL-SMF pour la compression de KV-Cache 384x via FSQ

Le développeur liventruth a open-sourcé l'Unified Latent-State Memory Fabric (UL-SMF), une architecture co-conçue matériel-logiciel qui compresse les caches Key-Value FP32 standards dans un espace latent discret de dimension 16 à l'aide de la Quantification d'Échelle Finie (FSQ).