github llama.cpp · il y a 1 h · inference

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Traduit de English → Français

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

ggml-hexagon accepte désormais les opérations IM2COL 1D et remplies.
Le kernel IM2COL pure-DDR est devenu aware de la 2D.
Le chemin rapide du patch-embed IM2COL DMA a été étendu à 1D.
Un kernel general blocked-staging IM2COL DMA a été ajouté.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b11035 ajoute les noyaux IQ3_S MMQ matmul pour Vulkan

Le projet llama.cpp a publié la version b11035, introduisant le support des noyaux de multiplication matricielle IQ3_S MMQ dans son backend Vulkan.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b11026 saute gate_up_exps pour Qwen35MoE

Le projet llama.cpp a publié la compilation b11026, qui introduit une modification pour sauter gate_up_exps lorsque le drapeau TENSOR_SKIP est défini. Cette modification est spécifiquement requise pour les modèles Qwen35MoE où les tenseurs MTP sont fusionnés mais non chargés.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.