github llama.cpp · il y a 1 h · inference

llama.cpp b11001 corrige la corruption de la transposition int16 sur RISC-V

Traduit de English → Français

Le projet llama.cpp a publié la version b11001, qui inclut une correction critique pour la fonction `permute_transpose_impl` gérant les données int16 sur les architectures RISC-V.

La version précédente appelait incorrectement `rvv_transposed_s32_mn_to_nm` pour les entiers 16 bits, entraînant des résultats de transposition corrompus où 14 positions sur 16 étaient erronées dans une matrice 4x4.
La correction remplace l'appel erroné par la fonction correcte `rvv_transposed_s16_mn_to_nm`, qui était déjà disponible et utilisée ailleurs dans flash attention.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android et openEuler.

Cette mise à jour garantit une transposition correcte des données pour les opérations int16 sur le matériel RISC-V, empêchant les erreurs de calcul dans les modèles concernés.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10995 rend inconditionnel le tail BN/2 de MUL_MAT_ID sous Vulkan

Le projet llama.cpp a publié la compilation b10995, qui modifie la gestion de l'opération MUL_MAT_ID par le backend Vulkan. Spécifiquement, le changement rend le tail BN/2 inconditionnel en utilisant BN/2 comme valeur par défaut pour BNover2 et comme fallback désactivé pour BNover4, tout en supprimant le gate d'activation de cette branche.

github llama.cpp · il y a 15 h · 2 vues

llama.cpp b10989 active AllReduce pour ROCm et fournit des binaires multi-plateformes

Le projet llama.cpp a publié la version b10989, qui introduit le support de l'activation des opérations AllReduce dans le backend ROCm. Cette mise à jour s'inscrit dans le développement continu visant à étendre la compatibilité matérielle et les capacités de calcul distribué pour l'inférence de grands modèles de langage.

github llama.cpp · il y a 20 h · 1 vue

llama.cpp b10988 ajoute la sélection de multiplication matricielle d'experts MoE via OpenCL pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b10988, introduisant des modifications au backend OpenCL spécifiquement pour les modèles Mixture of Experts (MoE). La mise à jour implémente une logique pour choisir la multiplication matricielle de l'expert MoE en fonction de la taille du lot lors du décodage spéculatif et de la prédiction multi-tokens.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10984 ajoute le support CUDA pour SUM_ROWS contigu par ligne

Le projet llama.cpp a publié la version b10984, introduisant le support CUDA pour les opérations SUM_ROWS contiguës par ligne. Cette mise à jour organise également le code pour inclure GGML_OP_MEAN afin de gérer les tenseurs contigus par ligne via un noyau partagé.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10985 restreint le cache hash RPC aux poids

Le projet llama.cpp a publié la version b10985, qui modifie le backend RPC pour limiter le stockage en cache basé sur le hachage exclusivement aux tenseurs de poids. Cette modification résout un problème où les données d'activation étaient inutilement hashées et stockées, entraînant une utilisation excessive du disque.