github llama.cpp · il y a 1 h · inference

llama.cpp b10165 ajoute le support iq4_nl et q1_0 à Vulkan FA

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10165, qui restaure le support de quantification iq4_nl pour le backend Flash Attention (FA) Vulkan. Ce changement résout le problème #23681 en réactivant la fonctionnalité après que les préoccupations concernant l'utilisation de la mémoire partagée aient été jugées négligeables.

Ajoute à nouveau le support iq4_nl à l'implémentation Vulkan FA.
Ajoute le support q1_0 pour les configurations non-coopmat2.
Corrige le problème GitHub #23681 concernant la suppression du support FA q1_0.

La publication fournit des binaires pour macOS, Linux, Windows et Android via les backends CPU, CUDA, ROCm, OpenVINO, SYCL et Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10164 ajoute la multiplication matricielle SSD fractionnée pour accélérer le préremplissage de Mamba-2

Le projet llama.cpp a publié la version b10164, introduisant une nouvelle implémentation de multiplication matricielle SSD fractionnée conçue pour accélérer la phase de préremplissage des modèles Mamba-2.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10159 ajoute le noyau FWHT pour le backend Metal

Le projet llama.cpp a publié la compilation b10159, qui introduit un noyau de Transformée de Walsh-Hadamard Rapide (FWHT) pour le backend Metal. Cette mise à jour comprend des détails d'implémentation en cours ainsi que des garde-fous de forme et des ajustements de formatage de code.

github llama.cpp · il y a 8 h · 2 vues

llama.cpp b10158 ajoute le support eagle3-v3 pour le modèle gpt-oss

Le projet llama.cpp a publié la compilation b10158, qui introduit le support de l'architecture eagle3-v3 au sein du modèle gpt-oss.

github llama.cpp · il y a 5 j · 2 vues

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

lab Hugging Face Blog · il y a 5 j · 1 vue

Diffusers ajoute le support natif de l'inférence Nunchaku Lite 4-bit

Hugging Face Diffusers prend désormais en charge le chargement natif des points de contrôle Nunchaku Lite via `from_pretrained()`, éliminant ainsi le besoin d'un moteur d'inférence séparé ou d'une compilation CUDA locale. Cette intégration utilise la méthode SVDQuant pour exécuter les couches transformateur avec des poids et activations en 4 bits (W4A4), réduisant considérablement l'utilisation de la mémoire tout en améliorant la vitesse d'inférence.