github llama.cpp · à l'instant · inference

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

Prend correctement en charge l'entrée visuelle pour DeepSeek 4.
Binaires disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour permet aux utilisateurs d'exécuter DeepSeek 4 avec des capacités visuelles sur les dernières compilations de llama.cpp sur les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10759 évite l'initialisation du type de tampon KleidiAI lors de la distribution

Le projet llama.cpp a publié la compilation b10759, qui inclut une correction pour éviter l'initialisation du type de tampon KleidiAI lors de la distribution.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10756 restreint la demande d'extension Vulkan shader_bfloat16

Le projet llama.cpp a publié la compilation b10756, qui modifie le comportement du backend Vulkan pour ne demander l'extension VK_KHR_shader_bfloat16 que lorsqu'elle est prise en charge par le matériel.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10757 améliore les performances de mat-vec IQ3_S pour Vulkan avec des tailles de lot plus grandes

Le projet llama.cpp a publié la compilation b10757, qui inclut une optimisation spécifique pour le backend Vulkan. Cette mise à jour gère efficacement des tailles de lot supérieures à 4 pour la multiplication matrice-vecteur IQ3_S lorsque NUM_COLS est supérieur à 4.