github llama.cpp · il y a 2 j · inference

llama.cpp b11017 saute le travail MoE inutile dans le chemin mul_mm coopmat1

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11017, qui inclut une optimisation Vulkan pour sauter le travail inutile de Mixture of Experts (MoE) dans le chemin mul_mm coopmat1.

Cette mise à jour fournit des binaires précompilés pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

La version inclut également l'interface utilisateur de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b11043 permet flash-attention HMX avec head_dim=72

Le projet llama.cpp a publié la version b11043, qui inclut une modification de l'implémentation de flash-attention HMX. Cette mise à jour active le support pour des dimensions de tête qui ne sont pas des multiples de 64, permettant spécifiquement des configurations comme head_dim=72 de SigLIP.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.