github llama.cpp · il y a 12 h · inference

llama.cpp b11035 ajoute les noyaux IQ3_S MMQ matmul pour Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la version b11035, introduisant le support des noyaux de multiplication matricielle IQ3_S MMQ dans son backend Vulkan.

La mise à jour inclut de nouveaux noyaux IQ3_S MMQ matmul pour Vulkan.
Block_a_to_shmem effectue désormais des chargements de 2 octets pour optimiser l'accès à la mémoire.
Les vérifications d'alignement ont été ajustées car IQ3_S utilise la taille du tile K.
Les binaires sont disponibles pour macOS, Linux, Windows, Android et openEuler sur les plateformes CPU, CUDA, ROCm, OpenVINO, SYCL et OpenCL.

Cette version fournit des binaires mis à jour pour divers systèmes d'exploitation et accélérateurs matériels, permettant aux utilisateurs de tirer parti du nouveau support de quantification Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b11026 saute gate_up_exps pour Qwen35MoE

Le projet llama.cpp a publié la compilation b11026, qui introduit une modification pour sauter gate_up_exps lorsque le drapeau TENSOR_SKIP est défini. Cette modification est spécifiquement requise pour les modèles Qwen35MoE où les tenseurs MTP sont fusionnés mais non chargés.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.