github llama.cpp · il y a 5 h · inference

llama.cpp b11362 ajoute un noyau flash attention pour l'API tensorielle avec KV en F16

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11362, qui introduit un nouveau noyau flash attention pour l'API tensorielle prenant en charge le stockage clé-valeur (KV) en F16. Cette mise à jour est disponible sur les plateformes macOS, Linux, Windows, Android et iOS avec diverses options de backend, notamment CUDA, Vulkan et ROCm.

Ajoute des noyaux FA tensoriels pour des dimensions spécifiques : DK=DV=512, DK=576/DV=512 et DK=192/DV=128.
Le nouveau noyau prend en charge les mécanismes de attention sinks, ALiBi et logit softcap.
Des binaires précompilés sont fournis pour les backends CPU, GPU (CUDA 12/13, Vulkan, ROCm 10.0) et NPU (Snapdragon Hexagon).

Cette version permet un calcul d'attention plus efficace sur les configurations matérielles prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11368 ajoute l'échantillonnage probabiliste pour le brouillon simple et MTP

Le projet llama.cpp a publié la compilation b11368, qui introduit l'échantillonnage probabiliste pour les flux de travail de brouillon simple et MTP (Multi-Token Prediction). Cette mise à jour modifie le mécanisme de brouillon pour utiliser une sélection probabiliste tout en vérifiant les cibles par échantillonnage par rejet.

github llama.cpp · il y a 9 h · 4 vues

llama.cpp b11351 ajoute alloc_buffer_n et get_alloc_size_n à l'interface du type de tampon du backend ggml

Le projet llama.cpp a publié la version b11351, introduisant de nouvelles méthodes dans l'interface du type de tampon du backend ggml. La mise à jour ajoute `alloc_buffer_n` et `get_alloc_size_n` pour permettre un contrôle plus fin de l'allocation des tampons et de la requête de taille.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b11338 ajoute une copie DMA en pas partagée pour CPY et CONCAT

Le projet llama.cpp a publié la version b11338, introduisant un mécanisme de copie Direct Memory Access (DMA) en pas partagée pour les opérations CPY et CONCAT. Cette mise à jour permet le CONCAT de n'importe quelle dimension via DMA sur les architectures Hexagon.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b11333 ajoute le support bfloat16 pour WebGPU dans les opérations MUL_MAT

Le projet llama.cpp a publié la compilation b11333, qui introduit le support bfloat16 pour les opérations MUL_MAT, MUL_MAT_ID et GET_ROWS au sein de son backend WebGPU.