github llama.cpp · il y a 1 h · inference

mtmd ajoute le support de WebP via ffmpeg

Traduit de English → Français

Le composant mtmd dans llama.cpp prend désormais en charge le format d'image WebP grâce à l'intégration avec ffmpeg.

Permet le traitement des images WebP au sein du framework mtmd.
S'appuie sur ffmpeg pour la fonctionnalité de décodage.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

github llama.cpp · il y a 11 h · 4 vues

Sortie de llama.cpp v0.2.0 avec ggml 0.21.0 et prise en charge de Kleidiai SME2

Le projet llama.cpp a publié la version 0.2.0, qui inclut une synchronisation avec la bibliothèque ggml mise à jour vers la version 0.21.0. Cette mise à jour introduit plusieurs améliorations des backends et de nouvelles fonctionnalités sur diverses plateformes matérielles.

media Hugging Face Forums · il y a 17 h · 1 vue

Le moteur Celestium ajoute des optimisations VRAM et un repli sur CPU pour SDXL

Le moteur Celestium a introduit plusieurs mises à jour pour améliorer les performances de SDXL sur du matériel à faible VRAM. Ces modifications se concentrent sur la gestion de la mémoire, la stabilité et les mécanismes de repli afin d'assurer une génération cohérente même sur des systèmes aux ressources limitées.

github llama.cpp · il y a 20 h · 2 vues

llama.cpp b10549 active le split de tenseurs pour LFM2/LFM2MOE

Le projet llama.cpp a publié la version b10549, qui introduit principalement le support du split de tenseurs dans les modèles LFM2 et LFM2MOE.

github vLLM · il y a 23 h · 4 vues

vLLM v0.28.0rc2 ajoute DFlash2 Spec Decode avec convolution locale et sélecteur de candidats

Le projet vLLM a publié la version 0.28.0rc2, qui inclut la fonction de décodage spéculatif DFlash2.