github llama.cpp · il y a 1 h · inference

llama.cpp b10636 désactive la compilation de l'interface npm par défaut et nettoie le CI

Traduit de English → Français

Le projet llama.cpp a publié la version b10636, qui modifie le comportement par défaut lors de la compilation de l'interface web. La compilation de l'interface basée sur npm est désormais désactivée par défaut (LLAMA_BUILD_UI=OFF), l'interface étant intégrée à partir de sources locales ou de téléchargements précompilés.

Les tâches CI ne compilent plus l'interface via npm ; la sanitisation du serveur ne nécessite plus Node.js.
L'artefact ui-build a été renommé en llama-ui.zip et est réutilisé dans les tâches de release.
Les compilations macOS Apple Silicon avec KleidiAI sont désactivées.
Le support Windows arm64 CUDA 13 est marqué comme preview.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels, y compris CPU, Vulkan, ROCm, OpenVINO, SYCL et CUDA.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10635 débloque mmq pour MoE sur sm_60

Le projet llama.cpp a publié la version b10635, qui inclut des mises à jour spécifiques du support CUDA. Le changement principal est le déblocage de la multiplication matricielle en précision mixte (mmq) pour les architectures Mixture of Experts (MoE) sur les GPU de capacité de calcul 6.0 (sm_60).

github llama.cpp · il y a 2 j · 11 vues

llama.cpp b10604 ajoute le support du format DSV4 de Deepseek 4 et des binaires pour macOS/iOS

Le projet llama.cpp a publié la version b10604, introduisant le support du format de modèle Deepseek 4 (DSV4) ainsi que de nouveaux binaires précompilés pour macOS et iOS.

github llama.cpp · il y a 3 j · 5 vues

llama.cpp b10598 utilise un algorithme de redimensionnement pillow-accurate et corrige resize_algo pour tous les modèles

Le projet llama.cpp a publié la compilation b10598, qui met à jour le module mtmd pour utiliser un algorithme de redimensionnement pillow-accurate et corrige le resize_algo pour tous les modèles. Cette version inclut également des optimisations de vitesse.

github llama.cpp · il y a 3 j · 5 vues

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.

github llama.cpp · il y a 4 j · 4 vues

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.