github llama.cpp · il y a 11 h · inference

llama.cpp b10757 améliore les performances de mat-vec IQ3_S pour Vulkan avec des tailles de lot plus grandes

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10757, qui inclut une optimisation spécifique pour le backend Vulkan. Cette mise à jour gère efficacement des tailles de lot supérieures à 4 pour la multiplication matrice-vecteur IQ3_S lorsque NUM_COLS est supérieur à 4.

Réalise une amélioration de performance de 5x à n=8 pour la configuration mat-vec IQ3_S Vulkan spécifiée.
Ajoute deux cas par type de quantification à k=16*256 dans le balayage mat-vec all_types.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette version permet aux utilisateurs d'exécuter llama.cpp sur une grande variété de plateformes matérielles avec des optimisations Vulkan mises à jour pour des types de quantification spécifiques.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10759 évite l'initialisation du type de tampon KleidiAI lors de la distribution

Le projet llama.cpp a publié la compilation b10759, qui inclut une correction pour éviter l'initialisation du type de tampon KleidiAI lors de la distribution.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10756 restreint la demande d'extension Vulkan shader_bfloat16

Le projet llama.cpp a publié la compilation b10756, qui modifie le comportement du backend Vulkan pour ne demander l'extension VK_KHR_shader_bfloat16 que lorsqu'elle est prise en charge par le matériel.