github llama.cpp · il y a 1 h · inference

llama.cpp b10635 débloque mmq pour MoE sur sm_60

Traduit de English → Français

Le projet llama.cpp a publié la version b10635, qui inclut des mises à jour spécifiques du support CUDA. Le changement principal est le déblocage de la multiplication matricielle en précision mixte (mmq) pour les architectures Mixture of Experts (MoE) sur les GPU de capacité de calcul 6.0 (sm_60).

CUDA : mmq débloqué pour MoE sur sm_60.
CUDA : mmq-config-pascal dupliqué pour dp4a et les architectures plus anciennes.
CUDA : Réduction de l'occupation sur les GPU Pascal sans dp4a pour les formats de quantification Q2_K, Q4_K, Q5_K et Q6_K.

Cette version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10636 désactive la compilation de l'interface npm par défaut et nettoie le CI

Le projet llama.cpp a publié la version b10636, qui modifie le comportement par défaut lors de la compilation de l'interface web. La compilation de l'interface basée sur npm est désormais désactivée par défaut (LLAMA_BUILD_UI=OFF), l'interface étant intégrée à partir de sources locales ou de téléchargements précompilés.

github llama.cpp · il y a 2 j · 11 vues

llama.cpp b10604 ajoute le support du format DSV4 de Deepseek 4 et des binaires pour macOS/iOS

Le projet llama.cpp a publié la version b10604, introduisant le support du format de modèle Deepseek 4 (DSV4) ainsi que de nouveaux binaires précompilés pour macOS et iOS.

github llama.cpp · il y a 3 j · 5 vues

llama.cpp b10598 utilise un algorithme de redimensionnement pillow-accurate et corrige resize_algo pour tous les modèles

Le projet llama.cpp a publié la compilation b10598, qui met à jour le module mtmd pour utiliser un algorithme de redimensionnement pillow-accurate et corrige le resize_algo pour tous les modèles. Cette version inclut également des optimisations de vitesse.

github llama.cpp · il y a 3 j · 5 vues

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.

github llama.cpp · il y a 4 j · 4 vues

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.