github llama.cpp · il y a 1 h · inference

llama.cpp b10269 corrige le problème de reshape dflash wo_a lors du chargement

Traduit de English → Français

Le projet llama.cpp a publié la version b10269, qui inclut une correction pour le problème de reshape dflash wo_a lors du chargement du modèle.

Cette version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x avec les backends CPU, Vulkan, ROCm 7.2, OpenVINO et SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler (x86 et aarch64 avec ACL Graph).

La mise à jour est disponible au téléchargement sur toutes les plateformes prises en charge pour garantir un comportement correct lors du chargement des modèles.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.

github llama.cpp · il y a 5 h

llama.cpp b10262 ajoute GATED_LINEAR_ATTN au backend Vulkan

Le projet llama.cpp a publié la compilation b10262, qui introduit le support de l'opération GATED_LINEAR_ATTN dans son backend Vulkan. Cette mise à jour comprend également des mises à jour de documentation pour les opérations Vulkan et supprime une constante de spécification GLA inutilisée.

github llama.cpp · il y a 7 h

llama.cpp b10259 permet le remodelage des tenseurs lors du chargement

Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.

github llama.cpp · il y a 13 h

llama.cpp b10256 parallélise le noyau de concaténation non contiguë pour SYCL

La version llama.cpp b10256 inclut un changement pour paralléliser le noyau de concaténation non contiguë pour les appareils SYCL. La mise à jour modifie la géométrie de lancement d'un groupe de travail à voie unique vers un groupe utilisant `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · il y a 13 h

llama.cpp b10254 ajoute le template DeepSeek V4 Flash 0731 et met à jour les templates V4

Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.