github llama.cpp · il y a 1 h · inference

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

Traduit de English → Français

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

Ajoute le support k-quant (q2_K à q6_K) pour gérer des recettes GGUF courantes comme Q4_K_M.
Étend les déquantiseurs super-bloc partagés à neuf i-quants avec une disposition de 32 threads.
Déplace le déquantiseur mxfp4 vers des assistants partagés, fermant la couverture des types GET_ROWS sur CUDA.
Limite les vérifications de taille de ligne uniquement aux types de sous-bloc de 32 valeurs (iq4_nl et mxfp4) pour éviter les retours inutiles à l'hôte.

En empêchant le planificateur de revenir à l'hôte pour ces types de quantification, la mise à jour évite de copier toute la matrice d'embedding à chaque token dans les graphiques à dispositif unique.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10085 corrige l'ancrage de Qwen3-VL en alignant l'interpolation des embeddings de position

Le projet llama.cpp a publié la compilation b10085, qui inclut une correction pour l'interpolation des embeddings de position du modèle de vision Qwen3-VL afin de résoudre les incohérences des coordonnées d'ancrage.

github llama.cpp · il y a 1 j

llama.cpp b10076 vectorise get_rows avec copie int4 pour une accélération de 27 %

Le projet llama.cpp a publié la compilation b10076, qui introduit une optimisation de performance dans le backend CUDA en vectorisant l'opération `get_rows` à l'aide de copies int4. Ce changement extrait le travail invariant par ligne de la boucle élément par élément et ajoute un chemin vectorisé qui copie 16 octets par thread pour des données contiguës du même type.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

media Hugging Face Forums · il y a 4 j · 2 vues

zhongkaifu publie TensorSharp, un moteur d'inférence LLM natif .NET pour les modèles GGUF

zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.

github llama.cpp · il y a 4 j · 1 vue

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.