github llama.cpp · à l'instant · inference

llama.cpp b10742 ajoute des réglages fa-vec pour A18 Pro

Traduit de English → Français

Le projet llama.cpp a publié la version b10742, qui inclut une nouvelle fonctionnalité ajoutant des réglages de vecteur rapide (fa-vec) spécifiquement pour la puce Apple A18 Pro trouvée dans le MacBook Neo.

Cette version fournit des binaires sur plusieurs plateformes et configurations matérielles :

macOS : Apple Silicon (arm64), Intel (x64) et iOS XCFramework.
Linux : compilations Ubuntu pour CPU (x64, arm64, s390x), Vulkan, ROCm 7.14, OpenVINO et SYCL (FP32/FP16).
Windows : CPU (x64, arm64), OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 7.14.
Android : CPU arm64.

Les notes de version indiquent que le support KleidiAI pour macOS Apple Silicon est actuellement désactivé dans cette compilation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10739 ajoute le réglage fa-vec pour M2 Max

Le projet llama.cpp a publié la version b10739, qui comprend une optimisation de performance spécifique pour le matériel Apple M2 Max. Cette mise à jour introduit le réglage des vecteurs d'attention rapide (fa-vec) adapté aux 30 cœurs GPU du M2 Max.

lab Hugging Face Blog · il y a 3 h · 3 vues

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10734 active l'API tensor Metal 4.0 sur M5+/A19+

Le projet llama.cpp a publié la version b10734, qui inclut une mise à jour pour activer l'API tensor Metal 4.0 pour les appareils équipés de puces M5+ ou A19+.

media r/LocalLLaMA · il y a 12 h · 1 vue

ExLlamaV3 ajoute le déchargement vers le CPU pour les experts MoE et les nouveaux modèles GLM-5.3-Flash, Qwen3.8-Flash

Turboderp a publié des mises à jour significatives pour ExLlamaV3, introduisant des capacités de déchargement vers le CPU pour les experts de Mixture of Experts (MoE). La mise à jour inclut également la prise en charge des nouveaux modèles GLM-5.3-Flash et Qwen3.8-Flash.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10724 optimise la restauration de l'état kv-cache pour réduire le nombre de copies de 1,3M à 224

Le projet llama.cpp a publié la compilation b10724, qui améliore considérablement les performances de restauration des cellules KV cache non contiguës en regroupant les lectures scatter par exécution continue.