github llama.cpp · il y a 17 h · inference

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

Ajout du support de diffusion pour les noyaux GEMM/GEMV noshuffle d'Adreno.
Assuré que les décalages de vue sont correctement gérés pour les opérations GEMM/GEMV noshuffle d'Adreno.
Implémenté le support général de diffusion GEMM/GEMV dans le backend OpenCL.
Suppression des tests et commentaires inutiles de la base de code.

Cette mise à jour améliore la compatibilité avec les charges de travail multi-stream sur le matériel Adreno en corrigeant des problèmes critiques de gestion des noyaux.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.

github llama.cpp · il y a 2 j

llama.cpp b10067 exclut la table de routage de DeepSeek-V4 de la quantisation

Le projet llama.cpp a publié la version b10067, qui inclut une correction pour l'outil `llama-quantize` afin de gérer correctement les modèles DeepSeek-V4. La mise à jour empêche le quantiseur d'essayer de convertir le tenseur `ffn_gate_tid2eid`, une table d'index token-to-expert i32, en un type float.

github llama.cpp · il y a 3 j

llama.cpp b10066 ajoute le support du kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

Le projet llama.cpp a publié la version b10066, introduisant le support du noyau `kernel_gemm_moe_q6_k_f32_ns` via OpenCL. Cette mise à jour permet le chargement et l'utilisation de cette bibliothèque de noyaux binaires spécifique au sein du framework.

github llama.cpp · il y a 3 j · 2 vues

Publication de llama.cpp b10064 avec optimisation de transposition OpenCL

Le projet llama.cpp a publié la version b10064, qui comprend une modification du backend OpenCL. Cette mise à jour modifie le format de quantification q4_K en transposant les échelles noshuffle pour activer les lectures groupées.

github llama.cpp · il y a 3 j

llama.cpp b10059 définit ggml-blas default hadamard mul_mat sur la routine CPU

Le projet llama.cpp a publié la version b10059, qui met à jour la bibliothèque ggml-blas pour utiliser la routine CPU par défaut pour la multiplication de matrices Hadamard.