github llama.cpp · il y a 3 j · inference

llama.cpp b10833 ajoute la fusion de norme RMS Vulkan pour une accélération d'environ 4% sur gemma4

Traduit de English → Français

Le projet llama.cpp a publié la version b10833, introduisant des optimisations du backend Vulkan qui fusionnent des opérations de normalisation spécifiques pour améliorer les performances d'inférence.

Prise en charge de la fusion RMS_NORM + MUL + ADD (+ MUL) et RMS_NORM + VIEW + SET_ROWS dans le backend Vulkan.
Extension de ROPE + VIEW + SET_ROWS pour prendre en charge IMROPE.
L'auteur signale un gain de performance d'environ 4% sur les modèles gemma4 sur son système.

Cette mise à jour offre aux utilisateurs des vitesses d'inférence plus rapides pour les modèles compatibles fonctionnant sur du matériel compatible Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10889 évite l'allocation du cache V pour l'indexeur

Le projet llama.cpp a publié la compilation b10889, qui inclut une optimisation de la mémoire pour éviter d'allouer le cache V pour l'indexeur car il n'est pas utilisé.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.