github llama.cpp · il y a 1 h · inference

llama.cpp b10614 ajoute la division des sources par opération Metal et la compilation parallèle

Traduit de English → Français

La version llama.cpp b10614 introduit un changement architectural significatif pour le backend Metal en divisant les sources des opérations et en activant la compilation parallèle. Cette mise à jour comprend également plusieurs nouvelles implémentations de noyaux et le support pour des formats de quantification supplémentaires.

Diviser metallib en 8 bibliothèques et les charger en parallèle pour améliorer les temps de build.
Ajouter l'opération col2im_1d prenant en charge les types de données f32, f16 et bf16.
Implémenter le support CONV_2D_DW (convolution profonde) pour Metal.
Ajouter le support du format de quantification Q2_0.
Fusionner les opérations d'activation snake (mul, sin, sqr, mul, add).
Introduire le noyau FWHT pour le backend Metal.

Cette version fournit des binaires précompilés pour macOS, iOS, Linux, Windows, Android et openEuler sur CPU, GPU et divers backends d'accélérateurs.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10610 raccourcit le nommage des appareils virtuels dans CUDA et Metal

Le projet llama.cpp a publié la version b10610, qui inclut une modification pour raccourcir le nommage des appareils virtuels au sein du backend ggml pour les plateformes CUDA et Metal.

github llama.cpp · il y a 13 h · 17 vues

llama.cpp b10605 aplatie les projections mamba2 pour dispatcher GEMM

Le projet llama.cpp a publié la compilation b10605, qui inclut une optimisation clé pour l'architecture Mamba2. La mise à jour aplatie les projections d'entrée et de sortie des modèles Mamba2 pour dispatcher des opérations de Multiplication Générale de Matrices (GEMM) au lieu d'opérations de Multiplication Générale de Matrice par Vecteur (GEMV).

github llama.cpp · il y a 1 j · 13 vues

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

Le projet llama.cpp a publié la compilation b10603, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.5-Air.

github llama.cpp · il y a 3 j · 5 vues

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 3 j · 3 vues

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.