github llama.cpp · à l'instant · inference

llama.cpp b11140 active sparse-fa pour le préremplissage dsv4 sur CUDA

Traduit de English → Français

Le projet llama.cpp a publié la version b11140, qui inclut une optimisation CUDA permettant d'activer sparse-fa pour le préremplissage dsv4. Cette mise à jour résout les problèmes de performance dans le processus de balayage du masque flash attention en templateant les noyaux pour permettre le déroulement des boucles au moment de la compilation.

La boucle de requête de `flash_attn_mask_to_sparse_indices` est désormais bornée au moment de la compilation, réduisant le temps de balayage de 46 à 17 microsecondes pour les formes de décodage clairsemé avec 49k colonnes.
Les vérifications hors limites pour le balayage du masque clairsemé ont été déplacées vers le code hôte, permettant à l'opération clairsemée par lots sur un contexte de 49k de passer de 586 à 244 microsecondes.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, GPU et NPU.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11138 analyse les opérateurs +/- unaires avant les variables

Le projet llama.cpp a publié la compilation b11138, qui met à jour l'analyseur de modèles Jinja pour gérer les opérateurs unaires plus et moins avant les variables.

github llama.cpp · il y a 2 h · 12 vues

llama.cpp b11136 ajoute le support de video_url d'OpenAI à llama-server

Le projet llama.cpp a publié la compilation b11136, qui met à jour llama-server pour accepter le type de contenu "video_url" standard d'OpenAI pour les entrées vidéo. Auparavant, le serveur n'acceptait qu'un type non standard "input_video" et rejetait les URIs de données, causant des problèmes de compatibilité avec les clients conformes à OpenAI.

github llama.cpp · il y a 3 h · 12 vues

llama.cpp b11132 ajoute le support du backbone de brouillon Gemma 4 DSpark

Le projet llama.cpp a publié la version b11132, introduisant le support pour le backbone de brouillon Gemma 4 DSpark. Cette mise à jour active la conversion GGUF et les capacités d'exécution pour les brouillons Gemma 4 avec attention complète et SWA, y compris les poids de sortie liés et les métadonnées du backbone booléennes.

github llama.cpp · il y a 8 h · 12 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 10 h · 12 vues

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.