github llama.cpp · il y a 1 j · inference

llama.cpp b10951 déplace llama_n_rs_seq avant llama_decode pour éviter les appels inutiles

Traduit de English → Français

Le projet llama.cpp a publié la version b10951, qui inclut une optimisation du code dans la logique de décodage. L'appel à la fonction `llama_n_rs_seq` est maintenant exécuté avant `llama_decode`, permettant au système de retourner directement si la vérification réussit.

Ce changement élimine le besoin de définir la variable `res` et d'utiliser une instruction goto lorsque la condition de retour anticipé est remplie.
La motivation principale est d'évoker l'appel à `llama_decode` lorsqu'il n'est pas nécessaire, améliorant ainsi l'efficacité.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10982 ajoute le support de l'attention Flash sparse Vulkan pour DSV4/GLM

Le projet llama.cpp a publié la version b10982, qui introduit le support de l'attention Flash sparse via le backend Vulkan. Cette mise à jour cible spécifiquement les modèles DSV4 et GLM, leur permettant d'exploiter les mécanismes d'attention sparse sur du matériel GPU compatible.

github llama.cpp · il y a 3 h · 2 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 21 h · 8 vues

llama.cpp 0.4.1 ajoute le support de Maple 20B-A1B, Tencent Hy 4 et Spark2.5

Le projet llama.cpp a publié la version 0.4.1, introduisant le support de l'architecture ternaire Mixture of Experts Maple 20B-A1B sur CPU, ainsi qu'un support en aperçu pour les modèles Tencent Hy 4 et Spark2.5.

github llama.cpp · il y a 3 j · 12 vues

llama.cpp b10930 permet les téléchargements de modèles à la limite du modèle

Le projet llama.cpp a publié la version b10930, qui inclut une correction pour le composant serveur permettant de télécharger des modèles même lorsque l'utilisateur a atteint sa limite de modèles.

github llama.cpp · il y a 3 j · 4 vues

La version b10926 de llama.cpp gère avec élégance les quants tq1_0 non pris en charge

Le projet llama.cpp a publié la version b10926, qui inclut une correction pour gérer les quantifications tq1_0 non prises en charge en échouant de manière gracieuse. Cette mise à jour résout le problème #28681 afin d'améliorer la stabilité lors de la rencontre avec ce format de quantification spécifique.