github llama.cpp · à l'instant · inference

llama.cpp b10739 ajoute le réglage fa-vec pour M2 Max

Traduit de English → Français

Le projet llama.cpp a publié la version b10739, qui comprend une optimisation de performance spécifique pour le matériel Apple M2 Max. Cette mise à jour introduit le réglage des vecteurs d'attention rapide (fa-vec) adapté aux 30 cœurs GPU du M2 Max.

Ajout des lignes de réglage fa-vec pour M2 Max collectées avec ggml-metal-tuning sur les types de données f16 et q8_0.
Fourniture de binaires pour macOS Apple Silicon, Macs Intel, iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

Cette version garantit des performances d'inférence optimisées sur le dernier Apple silicon tout en maintenant un large support à travers divers systèmes d'exploitation et accélérateurs matériels.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10734 active l'API tensor Metal 4.0 sur M5+/A19+

Le projet llama.cpp a publié la version b10734, qui inclut une mise à jour pour activer l'API tensor Metal 4.0 pour les appareils équipés de puces M5+ ou A19+.

media r/LocalLLaMA · il y a 9 h · 1 vue

ExLlamaV3 ajoute le déchargement vers le CPU pour les experts MoE et les nouveaux modèles GLM-5.3-Flash, Qwen3.8-Flash

Turboderp a publié des mises à jour significatives pour ExLlamaV3, introduisant des capacités de déchargement vers le CPU pour les experts de Mixture of Experts (MoE). La mise à jour inclut également la prise en charge des nouveaux modèles GLM-5.3-Flash et Qwen3.8-Flash.

github llama.cpp · il y a 22 h · 2 vues

llama.cpp b10724 optimise la restauration de l'état kv-cache pour réduire le nombre de copies de 1,3M à 224

Le projet llama.cpp a publié la compilation b10724, qui améliore considérablement les performances de restauration des cellules KV cache non contiguës en regroupant les lectures scatter par exécution continue.

github llama.cpp · il y a 1 j · 4 vues

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.