github llama.cpp · à l'instant · inference

llama.cpp b10795 fusionne les opérations SYCL

Traduit de English → Français

Le projet llama.cpp a publié la version b10795, qui inclut une nouvelle optimisation pour le backend SYCL. Cette mise à jour permet la fusion des chaînes RMS_NORM+MUL+ADD et ADD+ADD residual sous le drapeau GGML_SYCL_ENABLE_FUSION.

L'opération fusionnée ADD+ADD réutilise le même indexage de broadcast et la même matrice de types que la fonction add() indépendante, prenant en charge f32, f16, i32, i16, bf16 et les données non contiguës.
Les combinaisons non prises en charge dans la logique de fusion reviennent à deux lancements séparés de add() pour maintenir la compatibilité.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers accélérateurs matériels, y compris CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

media r/LocalLLaMA · il y a 14 h · 3 vues

IFM publie K2-Horizon-MoVA-36B-A4B, un modèle MoE creux avec 4B de paramètres actifs

IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.

github llama.cpp · il y a 16 h · 3 vues

llama.cpp ajoute le support de l'attention flash clairsemée pour le préremplissage Metal

Le projet llama.cpp a introduit le support de l'attention flash clairsemée (FA) pour le backend Metal, ciblant spécifiquement la phase de préremplissage de l'inférence du modèle. Cette mise à jour inclut un nouveau noyau qui compacte les entrées de masque fini en listes d'index par ligne et étend le noyau vectoriel FA avec une récupération d'index clairsemée optionnelle.

github llama.cpp · il y a 19 h · 1 vue

llama.cpp b10780 améliore l'API SYCL pour prendre en charge la copie peer-to-peer

Le projet llama.cpp a publié la version b10780, qui inclut une amélioration spécifique du backend SYCL. Cette mise à jour modifie l'API pour activer les capacités de copie peer-to-peer pour les appareils SYCL.

github llama.cpp · il y a 19 h · 2 vues

llama.cpp ajoute le support pour NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduit le support pour le modèle NVIDIA Nemotron-3-Puzzle-75B-A9B, permettant l'inférence pour cette architecture de Mixture of Experts. La mise à jour implémente une infrastructure pour les tailles de feed-forward des experts par couche variables et le routage top-k, qui sont requis car le modèle possède 40 couches MoE avec des valeurs distinctes de n_ff_exp et top-k.