github llama.cpp · il y a 1 h · inference

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

Traduit de English → Français

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

Remplace le memcpy par élément par un memcpy au niveau des lignes dans l'opération de concaténation.
Corrige les décalages de concaténation pour le nouveau mécanisme de copie au niveau des lignes.
Ajoute et déplace les assertions de taille de bloc de concaténation tout en supprimant les vérifications redondantes.
Fournit des builds pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et backends spécialisés.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10577 corrige draft-mtp avec des embeddings

Le projet llama.cpp a publié la compilation b10577, qui inclut une correction pour draft-mtp lors de l'utilisation avec des embeddings. Cette mise à jour résout les problèmes #26352 et #27299.

github llama.cpp · il y a 11 h · 2 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

github llama.cpp · il y a 16 h · 6 vues

Sortie de llama.cpp v0.2.0 avec ggml 0.21.0 et prise en charge de Kleidiai SME2

Le projet llama.cpp a publié la version 0.2.0, qui inclut une synchronisation avec la bibliothèque ggml mise à jour vers la version 0.21.0. Cette mise à jour introduit plusieurs améliorations des backends et de nouvelles fonctionnalités sur diverses plateformes matérielles.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.