github llama.cpp · à l'instant · inference

llama.cpp ajoute des réglages fa-vec pour Apple M4 Pro

Traduit de English → Français

Le projet llama.cpp a ajouté des réglages de vecteur d'attention rapide (fa-vec) pour le GPU Apple M4 Pro via une nouvelle contribution au backend Metal. Cette mise à jour fait suite aux travaux précédents pour supporter les GPU Apple supplémentaires et a été générée en utilisant l'outil `ggml-metal-tuning` sur un MacBook Pro de 14 pouces de novembre 2024.

Le processus de réglage s'est exécuté avec succès en 1 heure, 13 minutes et 1 seconde sans autre charge système.
La contribution prend en charge les types de données f16 et q8_0 pour l'architecture M4 Pro.
Cette version inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

llama.cpp b10643 ajoute le support multi-NPU et un backend Hexagon entièrement asynchrone

Le projet llama.cpp a publié la version b10643, introduisant le support pour les appareils multi-NPU (IQ9, IQ10) et un backend entièrement asynchrone pour l'architecture Hexagon.

media Hugging Face Forums · il y a 2 j · 4 vues

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10628 ajoute le support du transport RPC Apple RDMA

Le projet llama.cpp a publié la version b10628, introduisant le support d'Apple RDMA en tant que mécanisme de transport d'appel de procédure distante (RPC).

lab OpenAI News · il y a 3 j · 13 vues

OpenAI rapporte que la puce Jalapeño offre une latence jusqu'à 3,6 fois inférieure et une efficacité 1,9 fois supérieure

OpenAI a publié les premiers résultats de performance de Jalapeño, sa première puce d'inférence personnalisée, démontrant des gains significatifs en vitesse et en efficacité énergétique par rapport aux systèmes commerciaux existants. L'entreprise indique que la nouvelle architecture permet un débit plus élevé et une latence plus faible simultanément, répondant à un compromis courant dans le matériel actuel.

github llama.cpp · il y a 7 j · 16 vues

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.