github llama.cpp · il y a 1 h · inference

llama.cpp b10615 ajoute vec flash-attn ajusté par appareil pour Metal

Traduit de English → Français

Le projet llama.cpp a publié la version b10615, introduisant des opérations vectorielles flash-attention quantifiées (Q, NE) ajustées par appareil pour le backend Metal.

Ajout de 53 instanciations de vecteurs flash-attn f16, portant le total de 80 à 133.
Mise en œuvre d'une table de réglage et d'un câblage de dispatch avec fallback de capacité de mémoire partagée.
Extension du réglage des vecteurs pour prendre en charge les caches KV quantifiés.
Inclusion de paramètres ajustés pour les appareils M1 Pro, M2 Ultra et M5 Max.

Cette mise à jour optimise les performances sur le matériel Apple Silicon en appliquant des résultats de réglage spécifiques au backend Metal.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10614 ajoute la division des sources par opération Metal et la compilation parallèle

La version llama.cpp b10614 introduit un changement architectural significatif pour le backend Metal en divisant les sources des opérations et en activant la compilation parallèle. Cette mise à jour comprend également plusieurs nouvelles implémentations de noyaux et le support pour des formats de quantification supplémentaires.

github llama.cpp · il y a 10 h · 12 vues

llama.cpp b10610 raccourcit le nommage des appareils virtuels dans CUDA et Metal

Le projet llama.cpp a publié la version b10610, qui inclut une modification pour raccourcir le nommage des appareils virtuels au sein du backend ggml pour les plateformes CUDA et Metal.

github llama.cpp · il y a 15 h · 17 vues

llama.cpp b10605 aplatie les projections mamba2 pour dispatcher GEMM

Le projet llama.cpp a publié la compilation b10605, qui inclut une optimisation clé pour l'architecture Mamba2. La mise à jour aplatie les projections d'entrée et de sortie des modèles Mamba2 pour dispatcher des opérations de Multiplication Générale de Matrices (GEMM) au lieu d'opérations de Multiplication Générale de Matrice par Vecteur (GEMV).

github llama.cpp · il y a 1 j · 13 vues

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

Le projet llama.cpp a publié la compilation b10603, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.5-Air.

github llama.cpp · il y a 3 j · 5 vues

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.