github llama.cpp · à l'instant · inference

llama.cpp b11433 ajoute le support de l'opération de pooling Hexagon

Traduit de English → Français

Le projet llama.cpp a publié la version b11433, qui introduit le support des opérations de pooling sur le NPU Hexagon. Cette mise à jour inclut des implémentations pour les couches de pooling 2D et 1D.

Ajout du support pool_2d et pool_1d pour les backends Hexagon.
Optimisation des limites de pooling HTP et du pipeline DMA.
Réécriture du pipeline DMA et ajout du support du chunking de pooling.
Suppression des chemins scalaires vectorisés et simplification du solveur de chunks.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur les architectures CPU, GPU et NPU.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11424 corrige l'écriture hors limites de la mémoire partagée Vulkan Flash Attention

Le projet llama.cpp a publié la version b11424, qui inclut une correction pour une erreur d'écriture hors des limites de la mémoire partagée dans le backend Vulkan lors de l'utilisation de Flash Attention.

github llama.cpp · il y a 13 h · 16 vues

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 16 h · 23 vues

llama.cpp b11424 corrige l'écriture hors limites de la mémoire partagée Vulkan Flash Attention

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

llama.cpp b11405 carre le indexeur éclair sur les clés et les tokens pour 4 têtes

llama.cpp b11403 utilise MMVF pour mul_mat f16/bf16 fin à petit batch

llama.cpp b11390 corrige une erreur de mémoire CUDA MMQ