github llama.cpp · il y a 11 h · inference

llama.cpp b10756 restreint la demande d'extension Vulkan shader_bfloat16

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10756, qui modifie le comportement du backend Vulkan pour ne demander l'extension VK_KHR_shader_bfloat16 que lorsqu'elle est prise en charge par le matériel.

Cette mise à jour résout des problèmes de compatibilité où la demande d'extensions non prises en charge pouvait entraîner des échecs sur certains GPU. La version inclut des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android et iOS.

Le changement garantit que l'inférence basée sur Vulkan fonctionne correctement sur les appareils qui ne prennent pas en charge l'extension de shader bfloat16.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10759 évite l'initialisation du type de tampon KleidiAI lors de la distribution

Le projet llama.cpp a publié la compilation b10759, qui inclut une correction pour éviter l'initialisation du type de tampon KleidiAI lors de la distribution.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10757 améliore les performances de mat-vec IQ3_S pour Vulkan avec des tailles de lot plus grandes

Le projet llama.cpp a publié la compilation b10757, qui inclut une optimisation spécifique pour le backend Vulkan. Cette mise à jour gère efficacement des tailles de lot supérieures à 4 pour la multiplication matrice-vecteur IQ3_S lorsque NUM_COLS est supérieur à 4.