github llama.cpp · il y a 1 h · inference

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

Les changements clés dans cette version incluent :

Ajout du support mtmd pour DeepSeek-V4-Flash-Vision-Exp.
Implémentation de la gestion des comptes min/max de tokens via CLI.
Passage à l'utilisation de GGML_ROPE_TYPE_VISION.
Correction de la logique de comptage des tokens et suppression du code de débogage.

La version fournit des binaires pour macOS, Linux, Windows, Android et iOS sur divers backends matériels incluant CPU, CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10759 évite l'initialisation du type de tampon KleidiAI lors de la distribution

Le projet llama.cpp a publié la compilation b10759, qui inclut une correction pour éviter l'initialisation du type de tampon KleidiAI lors de la distribution.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10756 restreint la demande d'extension Vulkan shader_bfloat16

Le projet llama.cpp a publié la compilation b10756, qui modifie le comportement du backend Vulkan pour ne demander l'extension VK_KHR_shader_bfloat16 que lorsqu'elle est prise en charge par le matériel.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10757 améliore les performances de mat-vec IQ3_S pour Vulkan avec des tailles de lot plus grandes

Le projet llama.cpp a publié la compilation b10757, qui inclut une optimisation spécifique pour le backend Vulkan. Cette mise à jour gère efficacement des tailles de lot supérieures à 4 pour la multiplication matrice-vecteur IQ3_S lorsque NUM_COLS est supérieur à 4.