github llama.cpp · il y a 1 h · inference

llama.cpp b10605 aplatie les projections mamba2 pour dispatcher GEMM

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10605, qui inclut une optimisation clé pour l'architecture Mamba2. La mise à jour aplatie les projections d'entrée et de sortie des modèles Mamba2 pour dispatcher des opérations de Multiplication Générale de Matrices (GEMM) au lieu d'opérations de Multiplication Générale de Matrice par Vecteur (GEMV).

Aplatit les projections in/out de mamba2 pour permettre le dispatch de GMM plutôt que GEMV.
Supprime les opérations de redimensionnement de sortie redondantes au sein de l'implémentation de Mamba2.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

Le projet llama.cpp a publié la compilation b10603, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.5-Air.

github llama.cpp · il y a 2 j · 2 vues

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

llama.cpp b10577 corrige draft-mtp avec des embeddings

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2