github llama.cpp · il y a 1 h · inference

llama.cpp b10259 permet le remodelage des tenseurs lors du chargement

Traduit de English → Français

Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.

Cette mise à jour inclut les binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, ROCm, OpenVINO et SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO et SYCL) et openEuler.

La version fournit également le package d'interface utilisateur autonome pour les utilisateurs.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10254 ajoute le template DeepSeek V4 Flash 0731 et met à jour les templates V4

Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.

github llama.cpp · il y a 10 h

llama.cpp b10251 ajoute le support MTP pour GLM-4.7-Flash

Le projet llama.cpp a publié la compilation b10251, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.7-Flash.

github llama.cpp · il y a 1 j

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b10237 ajoute le support MTP pour DeepSeek V3.2

Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.

github llama.cpp · il y a 2 j · 7 vues

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.