github llama.cpp · il y a 2 h · inference

llama.cpp b10273 résout la longueur de contexte du sampleur et supprime les fenêtres de contexte complet

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10273, corrigeant un problème critique où les sampleurs basés sur l'historique ne pouvaient pas inférer la longueur correcte du contexte lors de l'initialisation en raison des contraintes du backend d'échantillonnage.

Corrige -1 à 1024 au lieu de ctx-len pour les sampleurs afin de résoudre les erreurs d'initialisation.
Définit une valeur par défaut partagée de 64 pour les sampleurs basés sur l'historique et supprime le paramètre context_size.
Fournit des binaires pour macOS, Linux, Windows, Android et openEuler via CPU, GPU (CUDA, Vulkan, ROCm, SYCL) et backends OpenVINO.

Cette mise à jour assure un comportement stable du sampleur pendant les phases précises de construction lorsque le llama_context complet n'est pas encore disponible.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10269 corrige le problème de reshape dflash wo_a lors du chargement

Le projet llama.cpp a publié la version b10269, qui inclut une correction pour le problème de reshape dflash wo_a lors du chargement du modèle.

media Hugging Face Forums · il y a 7 h

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.

github llama.cpp · il y a 7 h

llama.cpp b10262 ajoute GATED_LINEAR_ATTN au backend Vulkan

Le projet llama.cpp a publié la compilation b10262, qui introduit le support de l'opération GATED_LINEAR_ATTN dans son backend Vulkan. Cette mise à jour comprend également des mises à jour de documentation pour les opérations Vulkan et supprime une constante de spécification GLA inutilisée.

github llama.cpp · il y a 10 h

llama.cpp b10259 permet le remodelage des tenseurs lors du chargement

Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.

github llama.cpp · il y a 16 h

llama.cpp b10256 parallélise le noyau de concaténation non contiguë pour SYCL

La version llama.cpp b10256 inclut un changement pour paralléliser le noyau de concaténation non contiguë pour les appareils SYCL. La mise à jour modifie la géométrie de lancement d'un groupe de travail à voie unique vers un groupe utilisant `SYCL_CONCAT_BLOCK_SIZE`.