github llama.cpp · il y a 1 h · inference

llama.cpp b10610 raccourcit le nommage des appareils virtuels dans CUDA et Metal

Traduit de English → Français

Le projet llama.cpp a publié la version b10610, qui inclut une modification pour raccourcir le nommage des appareils virtuels au sein du backend ggml pour les plateformes CUDA et Metal.

La mise à jour modifie la façon dont les appareils virtuels sont nommés dans les backends CUDA et Metal afin de réduire la verbosité.
Les compilations macOS Apple Silicon avec le support KleidiAI restent désactivées dans cette version.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android et openEuler.

Cette version fournit des binaires mis à jour pour divers accélérateurs matériels et systèmes d'exploitation, tout en affinant les chaînes d'identification interne des appareils.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10605 aplatie les projections mamba2 pour dispatcher GEMM

Le projet llama.cpp a publié la compilation b10605, qui inclut une optimisation clé pour l'architecture Mamba2. La mise à jour aplatie les projections d'entrée et de sortie des modèles Mamba2 pour dispatcher des opérations de Multiplication Générale de Matrices (GEMM) au lieu d'opérations de Multiplication Générale de Matrice par Vecteur (GEMV).

github llama.cpp · il y a 20 h · 12 vues

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

Le projet llama.cpp a publié la compilation b10603, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.5-Air.

github llama.cpp · il y a 2 j · 6 vues

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10577 corrige draft-mtp avec des embeddings

Le projet llama.cpp a publié la compilation b10577, qui inclut une correction pour draft-mtp lors de l'utilisation avec des embeddings. Cette mise à jour résout les problèmes #26352 et #27299.