github llama.cpp · à l'instant · inference

llama.cpp b10643 ajoute le support multi-NPU et un backend Hexagon entièrement asynchrone

Traduit de English → Français

Le projet llama.cpp a publié la version b10643, introduisant le support pour les appareils multi-NPU (IQ9, IQ10) et un backend entièrement asynchrone pour l'architecture Hexagon.

Le backend Hexagon utilise désormais par défaut des tampons non-hôte et implémente une asynchronie complète.
Le support pour la plateforme Snapdragon Android 34 est ajouté.
La quantisation Q8_0 gagne en support pour les déquantiseurs in-place, les pipelines DMA et les opérations par ligne.
Les opérations ALLREDUCE sont optimisées avec des noyaux fusionnés et une efficacité DMA améliorée.
Les mécanismes de jetons de synchronisation et de barrières (fence) sont améliorés pour synchroniser les appareils NPU entre les divisions asynchrones.

Ces modifications permettent une inférence efficace sur le matériel Snapdragon multi-NPU en permettant l'exécution concurrente des appareils et des copies de tenseurs plus rapides.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10628 ajoute le support du transport RPC Apple RDMA

Le projet llama.cpp a publié la version b10628, introduisant le support d'Apple RDMA en tant que mécanisme de transport d'appel de procédure distante (RPC).

lab OpenAI News · il y a 2 j · 8 vues

OpenAI rapporte que la puce Jalapeño offre une latence jusqu'à 3,6 fois inférieure et une efficacité 1,9 fois supérieure

OpenAI a publié les premiers résultats de performance de Jalapeño, sa première puce d'inférence personnalisée, démontrant des gains significatifs en vitesse et en efficacité énergétique par rapport aux systèmes commerciaux existants. L'entreprise indique que la nouvelle architecture permet un débit plus élevé et une latence plus faible simultanément, répondant à un compromis courant dans le matériel actuel.

github llama.cpp · il y a 6 j · 14 vues

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.

lab Hugging Face Blog · il y a 9 j · 6 vues

Un allocateur GPU conscient des contraintes améliore l'utilisation et la sortie pondérée par priorité par rapport au FIFO

Un allocateur GPU conscient des contraintes a été comparé à un planificateur FIFO dans sept scénarios, atteignant jusqu'à 33 points de pourcentage d'utilisation GPU en plus et jusqu'à 105 % de sortie pondérée par priorité en plus sur du matériel identique. Le système traite la demande d'inférence en temps réel comme une courbe fluctuante plutôt que comme une réservation statique, permettant aux jobs de type batch de remplir la capacité pendant les creux tout en respectant des contraintes strictes telles que des blocs GPU contigus et l'absence de préemption.