github llama.cpp · il y a 1 h · inference

llama.cpp b10171 corrige les sorties corrompues du multi-flux OpenCL sur Adreno

Traduit de English → Français

La version b10171 de llama.cpp corrige un bug critique dans les noyaux d'image Adreno KQ/KQV qui provoquait des sorties corrompues lors de lots de séquences multiples. Le problème est survenu car ces noyaux ignoraient la dimension 3, entraînant des lectures incorrectes lors de l'utilisation du cache KV unifié avec plusieurs flux.

Achemine les tenseurs avec ne03/ne13 > 1 vers le chemin général qui gère correctement la dim 3.
Respecte view_offs lors de la création de sous-buffers pour éviter les lectures erronées silencieuses.
Corrige les scores de perplexité sur les appareils Adreno 740 et 840, réduisant la PPL d'environ 1940 à environ 15,6 pour Llama-3.2-1B-Instruct Q4_0.
Inclut des binaires pour macOS, iOS, Linux, Android, Windows et openEuler sur les backends CPU, GPU et spécialisés.

Cette correction garantit des résultats d'inférence corrects sur les appareils Adreno où Flash Attention est désactivé ou indisponible, empêchant la dégradation des performances dans les configurations serveur à multiples slots.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

media Together AI Blog · à l'instant En direct

Together AI explique le routage conscient de la capacité pour l'inférence de modèles dédiés

Together AI détaille l'architecture de sa plateforme d'Inférence de Modèles Dédiés, qui relie les points de terminaison, les déploiements et les configurations immuables via un partage de trafic conscient de la capacité. Ce système achemine les requêtes en fonction de la capacité effective (poids multiplié par le nombre de réplicas prêts) plutôt que sur des pourcentages fixes, permettant des fonctionnalités telles que les déploiements sans interruption et les tests A/B.

media Hugging Face Forums · il y a 1 h En direct

Les graphes de mémoire pondérés par l'attention utilisent l'attention de Jina pour la traversée de graph-RAG

Une nouvelle proposition décrit une structure de mémoire LLM qui combine le fractionnement tardif avec des arêtes pondérées par l'attention pour permettre une traversée étape par étape. Le système exploite le modèle d'embedding de Jina AI, qui calcule l'attention entre les phrases, pour dériver les poids des arêtes du traitement interne du document.

media r/LocalLLaMA · il y a 3 h

Microsoft publie Mage-VL, un modèle multimodal en streaming natif par codec

Microsoft a publié Mage-VL, un modèle de base multimodal efficace de 4 milliards de paramètres pour la compréhension d'images et de vidéos, qui utilise une approche native par codec pour rationaliser le traitement visuel. Le système sépare les flux vidéo en images ancrées (I) et images prédites (P), ne conservant que les patches où le codec alloue des bits afin de réduire la consommation de tokens visuels de plus de 75 %.

lab Hugging Face Blog · il y a 4 h

Ai2 lance la plateforme OlmoEarth pour l'inférence géospatiale à l'échelle planétaire

Ai2 a lancé la plateforme OlmoEarth, un système d'infrastructure conçu pour faire passer les modèles de base d'observation de la Terre du réglage fin à l'inférence à grande échelle. La plateforme répond aux défis techniques liés au traitement de téraoctets de données satellitaires multimodales provenant de plusieurs fournisseurs et résolutions.

github llama.cpp · il y a 5 h

llama.cpp b10165 ajoute le support iq4_nl et q1_0 à Vulkan FA

Le projet llama.cpp a publié la compilation b10165, qui restaure le support de quantification iq4_nl pour le backend Flash Attention (FA) Vulkan. Ce changement résout le problème #23681 en réactivant la fonctionnalité après que les préoccupations concernant l'utilisation de la mémoire partagée aient été jugées négligeables.