github llama.cpp · à l'instant · inference

llama.cpp b10444 ajoute le support des modèles assistants MTP et supprime eagle3

Traduit de English → Français

Le projet llama.cpp a publié la version b10444, introduisant le support pour charger des modèles assistants de Prédiction Multi-Tokens (MTP) via le drapeau `--models-dir`. Cette mise à jour inclut également une vérification stricte du préfixe pour les modèles MTP dans les préréglages et supprime le support du type de brouillon eagle3.

common : support du chargement des modèles assistants MTP via --models-dir
common : preset : vérifier les modèles MTP avec un préfixe strict
gérer d'autres types de brouillon
supprimer eagle3

La version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10442 ajoute SHMEM_STRIDE_PAD Vulkan pour Intel Xe et corrige la lecture hors limites

Le projet llama.cpp a publié la version b10442, introduisant des optimisations Vulkan spécifiques pour le matériel Intel Xe tout en traitant les problèmes de sécurité mémoire dans les routines de multiplication de matrices.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10434 transmet reasoning_effort aux modèles

Le projet llama.cpp a publié la compilation b10434, qui ajoute le support pour transmettre le paramètre `reasoning_effort` aux modèles Jinja. Ce changement garantit que les valeurs de `reasoning_effort` d'OpenAI Chat Completions sont stockées et disponibles pendant la génération.

github llama.cpp · il y a 2 j

llama.cpp b10418 ajoute le support de la mémoire fixe hôte pour SYCL

Le projet llama.cpp a publié la version b10418, introduisant le support de la mémoire fixe hôte pour améliorer l'accès à la mémoire Hôte-vers-Dispositif dans SYCL. Cette mise à jour traite des problèmes de sécurité des threads au sein de l'implémentation du backend.

github llama.cpp · il y a 2 j · 4 vues

Le backend OpenVINO de llama.cpp ajoute le support de Qwen3.5 et des optimisations mémoire

Le projet llama.cpp a fusionné des mises à jour significatives pour son backend OpenVINO, permettant principalement le support de la famille de modèles Qwen3.5 et introduisant plusieurs techniques d'optimisation mémoire.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b10414 ajoute le support de TQ2_0 et optimise le noyau mul_mv

Le projet llama.cpp a publié la compilation b10414, introduisant le support du type de quantification ternaire GGML_TYPE_TQ2_0 dans le backend Metal. Cette mise à jour inclut également des optimisations pour le noyau mul_mv de tenseurs contigus (cont).