github llama.cpp · il y a 2 j · inference

llama.cpp b10852 ajoute les opérations RELU et LEAKY_RELU à Hexagon

Traduit de English → Français

Le projet llama.cpp a publié la version b10852, qui introduit le support des opérations RELU et LEAKY_RELU dans le backend Hexagon.

Ajout de l'opération RELU à l'implémentation hexagon.
Ajout de l'opération LEAKY_RELU à l'implémentation hexagon.
Fourniture de binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour permet aux utilisateurs d'exécuter des modèles utilisant ces fonctions d'activation sur du matériel compatible Hexagon.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10870 ajoute les pipelines de multiplication matricielle f16 type B et le réglage de la taille du tile warp pour Intel coopmat1

Le projet llama.cpp a publié la version b10870, introduisant le support Vulkan pour les pipelines de multiplication matricielle f16 type B et le réglage de la taille du tile warp spécifiquement pour le matériel Intel coopmat1.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10871 ajoute un shader mat-vec iq4_xs dédié pour Vulkan

Le projet llama.cpp a publié la compilation b10871, introduisant un shader mul_mat_vec_iq4_xs dédié pour le chemin dmmv dans Vulkan. Ce changement remplace l'implémentation de repli générique précédente pour améliorer les performances sur le matériel RDNA4.