github llama.cpp · il y a 1 h · inference

llama.cpp b10577 corrige draft-mtp avec des embeddings

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10577, qui inclut une correction pour draft-mtp lors de l'utilisation avec des embeddings. Cette mise à jour résout les problèmes #26352 et #27299.

Corrige la compatibilité de draft-mtp avec les embeddings dans le module commun.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), Android et openEuler.

Cette version garantit que draft-mtp fonctionne correctement avec les entrées d'embedding sur les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.

github llama.cpp · il y a 10 h · 2 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

github llama.cpp · il y a 15 h · 6 vues

Sortie de llama.cpp v0.2.0 avec ggml 0.21.0 et prise en charge de Kleidiai SME2

Le projet llama.cpp a publié la version 0.2.0, qui inclut une synchronisation avec la bibliothèque ggml mise à jour vers la version 0.21.0. Cette mise à jour introduit plusieurs améliorations des backends et de nouvelles fonctionnalités sur diverses plateformes matérielles.

github llama.cpp · il y a 1 j · 4 vues

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.