github llama.cpp · il y a 1 h · inference

llama.cpp b10790 ajuste le croisement de MMVQ vers MMQ pour SM87

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10790, qui comprend un ajustement spécifique du croisement de MMVQ vers MMQ pour SM87.

Cette mise à jour fournit des binaires précompilés sur plusieurs plateformes et configurations matérielles. Les compilations disponibles incluent macOS Apple Silicon et Intel, Linux (Ubuntu) avec prise en charge de CPU, Vulkan, ROCm 10.0, OpenVINO et SYCL, ainsi que des compilations pour Windows avec prise en charge de CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 10.0. Les versions supplémentaires couvrent Android arm64, iOS XCFramework et les architectures openEuler x86/aarch64.

La version comprend également le package d'interface utilisateur standard de llama.cpp pour tous les systèmes d'exploitation pris en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

IFM publie K2-Horizon-MoVA-36B-A4B, un modèle MoE creux avec 4B de paramètres actifs

IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.

github llama.cpp · il y a 8 h · 1 vue

llama.cpp ajoute le support de l'attention flash clairsemée pour le préremplissage Metal

Le projet llama.cpp a introduit le support de l'attention flash clairsemée (FA) pour le backend Metal, ciblant spécifiquement la phase de préremplissage de l'inférence du modèle. Cette mise à jour inclut un nouveau noyau qui compacte les entrées de masque fini en listes d'index par ligne et étend le noyau vectoriel FA avec une récupération d'index clairsemée optionnelle.

github llama.cpp · il y a 9 h · 2 vues

llama.cpp b10782 corrige l'optimisation des graphes CUDA pour le multi-GPU

Le projet llama.cpp a publié la version b10782, qui résout un problème critique dans le backend CUDA pour les configurations multi-GPU. La mise à jour permet des flux concurrents par partition et active l'optimisation des graphes CUDA pour fonctionner correctement sur plusieurs appareils.

github llama.cpp · il y a 10 h · 1 vue

llama.cpp b10780 améliore l'API SYCL pour prendre en charge la copie peer-to-peer

Le projet llama.cpp a publié la version b10780, qui inclut une amélioration spécifique du backend SYCL. Cette mise à jour modifie l'API pour activer les capacités de copie peer-to-peer pour les appareils SYCL.

github llama.cpp · il y a 11 h · 2 vues

llama.cpp b10781 corrige l'activation du chemin de déquantification FA Vulkan

Le projet llama.cpp a publié la version b10781, qui inclut une correction pour le chemin de déquantification de l'attention rapide (FA) Vulkan. La mise à jour résout un problème où le shader vérifiait incorrectement `nb[3]` même lorsque `ne[3] == 1`, ce qui empêchait le chemin de s'activer que lorsque le cache était plein.