github llama.cpp · il y a 1 h · inference

llama.cpp b10603 ajoute le support MTP pour GLM-4.5-Air

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10603, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.5-Air.

Ajoute la capacité MTP pour GLM-4.5-Air via la pull request #26534.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) et openEuler.

Cette version permet aux utilisateurs d'exécuter GLM-4.5-Air avec MTP sur une large gamme d'architectures matérielles.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b10577 corrige draft-mtp avec des embeddings

Le projet llama.cpp a publié la compilation b10577, qui inclut une correction pour draft-mtp lors de l'utilisation avec des embeddings. Cette mise à jour résout les problèmes #26352 et #27299.

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

github llama.cpp · il y a 2 j · 11 vues

Sortie de llama.cpp v0.2.0 avec ggml 0.21.0 et prise en charge de Kleidiai SME2

Le projet llama.cpp a publié la version 0.2.0, qui inclut une synchronisation avec la bibliothèque ggml mise à jour vers la version 0.21.0. Cette mise à jour introduit plusieurs améliorations des backends et de nouvelles fonctionnalités sur diverses plateformes matérielles.