github llama.cpp · il y a 2 h · inference

llama.cpp b10305 ajoute le support SYCL pour les OPs DSv4

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10305, qui introduit le support pour des opérations spécifiques de DSv4 au sein du backend SYCL. Cette mise à jour inclut l'implémentation des opérateurs LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST et DSV4_HC_PRE.

Support ajouté pour les OPs DSv4 : LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST et DSV4_HC_PRE dans le backend SYCL.
Mises à jour du fichier de documentation ops.md.
Corrections appliquées aux problèmes de formatage au sein de la base de code.

Cette version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu avec CPU, Vulkan, ROCm 7.2, OpenVINO et SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et les plateformes openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10307 corrige l'analyse NVFP4 de SYCL

Le projet llama.cpp a publié la version b10307, qui inclut une correction pour le code GPU SYCL afin d'analyser correctement les facteurs d'échelle UE4M3 utilisés dans la quantification NVFP4.

github llama.cpp · il y a 2 h

llama.cpp b10306 ajoute un chemin plat pour GLU SYCL et consolide les noyaux

La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.

github llama.cpp · il y a 16 h

llama.cpp b10298 ajoute la fonction de sauvegarde/chargement de chunks pour mtmd

Le projet llama.cpp a publié la compilation b10298, qui introduit une nouvelle fonction de sauvegarde et de chargement de chunks pour le module mtmd. Cette mise à jour comprend également un nettoyage du code et des tests supplémentaires.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10293 ajoute l'intégration continue ROCm pour gfx1151 et corrige l'inférence sur RDNA3.5

Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10291 corrige le regroupement de soumission Vulkan et ajoute des outils de débogage DeviceLost

Le projet llama.cpp a publié la version b10291, qui inclut des corrections critiques pour le backend Vulkan ainsi que des mises à jour standard de la plateforme. Les principaux changements techniques traitent les problèmes de taille du lot de soumission et introduisent de nouvelles capacités de diagnostic pour les erreurs de pilote.