github llama.cpp · il y a 1 h · inference

llama.cpp v0.1.2 ajoute les optimisations CUDA MMVQ et le hachage SHA256 de mtmd

Traduit de English → Français

Le projet llama.cpp a publié la version 0.1.2, qui inclut une synchronisation avec ggml (passée à 0.20.2) et plusieurs mises à jour des composants serveur et interface utilisateur.

CUDA : MMVQ nwarps=8 pour bs=1 pour les modèles denses sur DGX Spark.
mtmd : utiliser sha256 pour le hachage de l'entrée.
vocab : prise en charge des scores entiers du tokeniseur.
mtmd : ignorer les vignettes pour les images LFM2 non tuilées.
server : enregistrer les chunks traités de mtmd comme espace réservé.
ui : imposer l'ordre alphabétique des membres d'énumération et refactoriser le nom des Outils intégrés.

Cette version inclut également des nettoyages de compilation pour xcframework + cmake et met à jour les processus CI pour la génération de versions préliminaires.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

MLX v0.32.1 ajoute le support de la dimension de tête 72 dans l'attention complète Metal

La bibliothèque MLX a publié la version 0.32.1, introduisant le support d'une dimension de tête de 72 au sein de son implémentation d'attention complète Metal.

lab Hugging Face Blog · il y a 16 h

Un allocateur GPU conscient des contraintes améliore l'utilisation et la sortie pondérée par priorité par rapport au FIFO

Un allocateur GPU conscient des contraintes a été comparé à un planificateur FIFO dans sept scénarios, atteignant jusqu'à 33 points de pourcentage d'utilisation GPU en plus et jusqu'à 105 % de sortie pondérée par priorité en plus sur du matériel identique. Le système traite la demande d'inférence en temps réel comme une courbe fluctuante plutôt que comme une réservation statique, permettant aux jobs de type batch de remplir la capacité pendant les creux tout en respectant des contraintes strictes telles que des blocs GPU contigus et l'absence de préemption.

github llama.cpp · il y a 18 h

llama.cpp b10472 ignore le remplacement de l'UMA pour les builds HIP

Le projet llama.cpp a publié la build b10472, qui inclut une correction pour ignorer le remplacement de l'architecture de mémoire unifiée (UMA) pour les builds HIP. Ce changement résout un problème où les unités de traitement accéléré (APU) AMD rapportaient des informations de mémoire inexactes via hipMemGetInfo.

media Hugging Face Forums · il y a 1 j · 9 vues

Le prototype SpiralCoreAttention sélectionne des blocs de tokens pour le fine-tuning QLoRA sur de longues séquences

Un développeur sollicite des retours sur SpiralCoreAttention, un prototype expérimental de sélection du contexte pendant l'entraînement pour le fine-tuning de LLM à poids ouverts. Au lieu de traiter des séquences longues complètes lors de chaque passage avant et arrière, le système sélectionne des blocs de tokens spécifiques de la séquence à entraîner, tout en évaluant l'adaptateur résultant sur des séquences de contexte complet conservées.

github llama.cpp · il y a 1 j · 17 vues

llama.cpp b10456 corrige le nombre de threads SYCL pour un gain de débit x7 sur Arc 70

Le projet llama.cpp a publié la version b10456, qui inclut une correction critique pour le backend SYCL dans les lancements de noyaux de copie quantifiés. La mise à jour ajuste les nombres de threads et de blocs pour qu'ils soient proportionnels à la taille de la quantification, réduisant ainsi efficacement les problèmes de sous- et sur-allocation.