github llama.cpp · il y a 1 h · inference

llama.cpp ajoute des réglages fa-vec pour Apple M3 Max, M5 et M5 Pro

Traduit de English → Français

Le projet llama.cpp a ajouté des enregistrements de réglage de vecteur d'attention rapide (fa-vec) pour les GPU Apple M3 Max, M5 et M5 Pro afin d'améliorer les performances de Metal.

Les réglages pour l'Apple M5 ont été générés sur une machine M5 en utilisant les types de données f16 et q8_0.
Les enregistrements pour l'Apple M5 Pro couvrent les formats F16, Q4_0 et Q8_0 sur 20 cœurs GPU.
La prise en charge du M3 Max inclut les configurations F16 et Q8_0 sur un MacBook Pro avec 64 Go en mode basse consommation.

Ces mises à jour étendent les capacités d'accélération de Metal aux nouvelles architectures Apple silicon.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10665 ajoute le support de DSpark pour Nemotron3.5

Le projet llama.cpp a publié la compilation b10665, qui introduit le support de DSpark pour le modèle Nemotron3.5.

github llama.cpp · il y a 17 h · 7 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 1 j · 8 vues

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b10655 ajoute le support de LIGHTNING_INDEXER pour les opérations Deepseek V4 sur Vulkan

Le projet llama.cpp a publié la version b10655, qui introduit le support de l'opération LIGHTNING_INDEXER dans le backend Vulkan pour permettre les opérations Deepseek V4.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.