github llama.cpp · à l'instant · inference

llama.cpp b10164 ajoute la multiplication matricielle SSD fractionnée pour accélérer le préremplissage de Mamba-2

Traduit de English → Français

Le projet llama.cpp a publié la version b10164, introduisant une nouvelle implémentation de multiplication matricielle SSD fractionnée conçue pour accélérer la phase de préremplissage des modèles Mamba-2.

ggml-cuda : ajout de la multiplication matricielle SSD fractionnée pour accélérer le préremplissage de Mamba-2
Corrections de correction de CUDA SSD en promouvant s0_stride_seq à int64_t et en améliorant le regroupement mémoire dans ssm_ssd_prepare_dt_kernel
Matérialisation fusionnée de la matrice M dans le noyau pre_matmul
Correction de la course de lecture-écriture sdata dans la boucle de balayage de repli de prepare_dt
Ajout des corrections CICD SSD pour CUDA, HIP, MUSA et MSVC

Cette mise à jour fournit des noyaux GPU optimisés pour des architectures spécifiques de modèles d'espace d'état tout en maintenant une large compatibilité avec les backends CPU, Vulkan, ROCm, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10159 ajoute le noyau FWHT pour le backend Metal

Le projet llama.cpp a publié la compilation b10159, qui introduit un noyau de Transformée de Walsh-Hadamard Rapide (FWHT) pour le backend Metal. Cette mise à jour comprend des détails d'implémentation en cours ainsi que des garde-fous de forme et des ajustements de formatage de code.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10158 ajoute le support eagle3-v3 pour le modèle gpt-oss

Le projet llama.cpp a publié la compilation b10158, qui introduit le support de l'architecture eagle3-v3 au sein du modèle gpt-oss.

github llama.cpp · il y a 5 j · 2 vues

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

lab Hugging Face Blog · il y a 5 j · 1 vue

Diffusers ajoute le support natif de l'inférence Nunchaku Lite 4-bit

Hugging Face Diffusers prend désormais en charge le chargement natif des points de contrôle Nunchaku Lite via `from_pretrained()`, éliminant ainsi le besoin d'un moteur d'inférence séparé ou d'une compilation CUDA locale. Cette intégration utilise la méthode SVDQuant pour exécuter les couches transformateur avec des poids et activations en 4 bits (W4A4), réduisant considérablement l'utilisation de la mémoire tout en améliorant la vitesse d'inférence.

github llama.cpp · il y a 6 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.