github llama.cpp · à l'instant · inference

llama.cpp b11460 ajoute IQ3_S multi-column MMVQ à SYCL

Traduit de English → Français

Le projet llama.cpp a publié la version b11460, qui introduit le support du format de quantification IQ3_S multi-column MMVQ dans son backend SYCL. Cette mise à jour est incluse dans la nouvelle compilation aux côtés des options standard d'accélération CPU et GPU.

La release ajoute le support IQ3_S multi-column MMVQ à l'implémentation de SYCL via la pull request #29500.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux (x64, arm64, s390x), Windows, Android et openEuler.
L'accélération GPU est disponible via CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO et OpenCL Adreno sur les plateformes prises en charge.
Des builds spécifiques sont inclus pour les appareils Snapdragon sous Linux et Android, prenant en charge le CPU, le GPU Adreno et le NPU Hexagon.

Cette release permet aux utilisateurs d'accéder aux dernières optimisations SYCL et élargit la compatibilité matérielle pour exécuter des modèles llama.cpp sur diverses architectures.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11454 ajoute le support de K2 Horizon dense et MoVA

Le projet llama.cpp a publié la compilation b11454, qui introduit le support pour l'architecture du modèle K2 Horizon, y compris les variantes dense et Mixture-of-Value Attention (MoVA).

github llama.cpp · il y a 1 j · 25 vues

llama.cpp b11433 ajoute le support de l'opération de pooling Hexagon

Le projet llama.cpp a publié la version b11433, qui introduit le support des opérations de pooling sur le NPU Hexagon. Cette mise à jour inclut des implémentations pour les couches de pooling 2D et 1D.

github llama.cpp · il y a 2 j · 25 vues

llama.cpp b11424 corrige l'écriture hors limites de la mémoire partagée Vulkan Flash Attention

Le projet llama.cpp a publié la version b11424, qui inclut une correction pour une erreur d'écriture hors des limites de la mémoire partagée dans le backend Vulkan lors de l'utilisation de Flash Attention.

github llama.cpp · il y a 2 j · 22 vues

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 2 j · 29 vues

llama.cpp b11405 carre le indexeur éclair sur les clés et les tokens pour 4 têtes

La version llama.cpp b11405 met à jour le backend CUDA en carrelant l'indexeur éclair sur les clés et les tokens pour 4 têtes, résolvant des problèmes de performance avec de faibles nombres de têtes.