github llama.cpp · il y a 2 h · inference

llama.cpp b10262 ajoute GATED_LINEAR_ATTN au backend Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10262, qui introduit le support de l'opération GATED_LINEAR_ATTN dans son backend Vulkan. Cette mise à jour comprend également des mises à jour de documentation pour les opérations Vulkan et supprime une constante de spécification GLA inutilisée.

Implémentation de l'opération GATED_LINEAR_ATTN pour Vulkan (#25601)
Mise à jour de la documentation des opérations Vulkan
Suppression de la constante de spécification GLA inutilisée

Cette version fournit des binaires pour macOS, Linux, Windows, Android et iOS via les backends CPU, CUDA, ROCm, OpenVINO, SYCL et Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.

github llama.cpp · il y a 4 h

llama.cpp b10259 permet le remodelage des tenseurs lors du chargement

Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.

github llama.cpp · il y a 10 h

llama.cpp b10256 parallélise le noyau de concaténation non contiguë pour SYCL

La version llama.cpp b10256 inclut un changement pour paralléliser le noyau de concaténation non contiguë pour les appareils SYCL. La mise à jour modifie la géométrie de lancement d'un groupe de travail à voie unique vers un groupe utilisant `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · il y a 10 h

llama.cpp b10254 ajoute le template DeepSeek V4 Flash 0731 et met à jour les templates V4

Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.