github llama.cpp · il y a 2 j · inference

llama.cpp b10857 corrige l'utilisation des handles Vulkan-Hpp sur les cibles 32 bits

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10857, qui inclut une correction pour l'utilisation des handles Vulkan-Hpp sur les plateformes 32 bits. Cette mise à jour résout des problèmes de sécurité de type où les handles Vulkan non dispatchables comme VkBuffer sont représentés comme uint64_t.

Ajoute l'opérateur<< pour vk::Buffer afin de permettre le streaming direct vers std::ostream pour les journaux de débogage et de mémoire.
Passe vk::Buffer directement aux APIs CommandBuffer::copyBuffer de Vulkan-Hpp au lieu de le caster en VkBuffer.

Ce changement assure la gestion correcte des objets Vulkan sur les architectures 32 bits, empêchant les erreurs potentielles dans les opérations de journalisation et de copie de tampon.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10891 corrige le crash Vulkan PowerVR en recourant à la réduction par mémoire partagée

Le projet llama.cpp a publié la version b10891, qui résout un problème critique de stabilité sur les GPU PowerVR. La mise à jour modifie le backend Vulkan pour qu'il recoure à la réduction par mémoire partagée pour les opérations de multiplication matrice-vecteur déquantifiée (dmmv).

media MarkTechPost · à l'instant En direct

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10889 évite l'allocation du cache V pour l'indexeur

Le projet llama.cpp a publié la compilation b10889, qui inclut une optimisation de la mémoire pour éviter d'allouer le cache V pour l'indexeur car il n'est pas utilisé.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.