github llama.cpp · il y a 2 h · inference

llama.cpp b10628 ajoute le support du transport RPC Apple RDMA

Traduit de English → Français

Le projet llama.cpp a publié la version b10628, introduisant le support d'Apple RDMA en tant que mécanisme de transport d'appel de procédure distante (RPC).

Ajoute Apple RDMA comme option de transport RPC.
Supprime la micro-optimisation set_tensor et l'épinglage des sockets RPC par CR.
Supprime la fonctionnalité de reconnexion transparente.
Configure le CI pour déclencher les builds Apple lors des changements de RPC.
Fournit des binaires pour macOS, iOS, Linux, Windows, Android et openEuler via CPU, GPU et backends matériels spécialisés.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

OpenAI rapporte que la puce Jalapeño offre une latence jusqu'à 3,6 fois inférieure et une efficacité 1,9 fois supérieure

OpenAI a publié les premiers résultats de performance de Jalapeño, sa première puce d'inférence personnalisée, démontrant des gains significatifs en vitesse et en efficacité énergétique par rapport aux systèmes commerciaux existants. L'entreprise indique que la nouvelle architecture permet un débit plus élevé et une latence plus faible simultanément, répondant à un compromis courant dans le matériel actuel.

github llama.cpp · il y a 5 j · 13 vues

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.

lab Hugging Face Blog · il y a 8 j · 5 vues

Un allocateur GPU conscient des contraintes améliore l'utilisation et la sortie pondérée par priorité par rapport au FIFO

Un allocateur GPU conscient des contraintes a été comparé à un planificateur FIFO dans sept scénarios, atteignant jusqu'à 33 points de pourcentage d'utilisation GPU en plus et jusqu'à 105 % de sortie pondérée par priorité en plus sur du matériel identique. Le système traite la demande d'inférence en temps réel comme une courbe fluctuante plutôt que comme une réservation statique, permettant aux jobs de type batch de remplir la capacité pendant les creux tout en respectant des contraintes strictes telles que des blocs GPU contigus et l'absence de préemption.

media r/LocalLLaMA · il y a 9 j · 19 vues

NVIDIA sert Qwen 3.8 2.4T sur GB300 NVL72 à 4K tok/s par GPU

NVIDIA a démontré le service du modèle de paramètres Qwen 3.8 2.4T avec des capacités de raisonnement configurables sur sa plateforme matérielle GB300 NVL72.

github llama.cpp · il y a 18 j · 15 vues

llama.cpp b10306 ajoute un chemin plat pour GLU SYCL et consolide les noyaux

La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.