github llama.cpp · il y a 1 j · inference

llama.cpp b11026 saute gate_up_exps pour Qwen35MoE

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11026, qui introduit une modification pour sauter gate_up_exps lorsque le drapeau TENSOR_SKIP est défini. Cette modification est spécifiquement requise pour les modèles Qwen35MoE où les tenseurs MTP sont fusionnés mais non chargés.

La version fournit des binaires et des frameworks pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) et openEuler.

Cette mise à jour garantit la compatibilité avec des configurations spécifiques de Qwen35MoE en gérant correctement les tenseurs MTP fusionnés mais non chargés.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b11035 ajoute les noyaux IQ3_S MMQ matmul pour Vulkan

Le projet llama.cpp a publié la version b11035, introduisant le support des noyaux de multiplication matricielle IQ3_S MMQ dans son backend Vulkan.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.