github llama.cpp · il y a 1 j · inference

llama.cpp b10868 ajoute la gestion des types IQ pour MoE

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10868, qui introduit la gestion des types IQ pour les modèles Mixture of Experts (MoE).

Ajoute le support des types de quantification IQ dans les architectures MoE via la pull request #28476.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android et openEuler.
Inclut le support iOS XCFramework et un package d'interface utilisateur autonome.

Cette mise à jour permet aux utilisateurs d'exécuter des modèles MoE avec des types de quantification IQ spécifiques sur une large gamme de plateformes matérielles.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10891 corrige le crash Vulkan PowerVR en recourant à la réduction par mémoire partagée

Le projet llama.cpp a publié la version b10891, qui résout un problème critique de stabilité sur les GPU PowerVR. La mise à jour modifie le backend Vulkan pour qu'il recoure à la réduction par mémoire partagée pour les opérations de multiplication matrice-vecteur déquantifiée (dmmv).

media MarkTechPost · à l'instant En direct

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10889 évite l'allocation du cache V pour l'indexeur

Le projet llama.cpp a publié la compilation b10889, qui inclut une optimisation de la mémoire pour éviter d'allouer le cache V pour l'indexeur car il n'est pas utilisé.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.