github llama.cpp · il y a 17 h · inference

llama.cpp b11310 protège le noyau de déquantisation iq4_nl contre les lignes courtes

Traduit de English → Français

Le projet llama.cpp a publié la version b11310, qui comprend une correction pour la logique de déquantisation IQ4_NL du backend CUDA. La mise à jour traite un problème de sécurité mémoire où les threads pouvaient lire et écrire au-delà de la fin d'une ligne lors du traitement de blocs plus courts que QK_K.

Protège le noyau de déquantisation de ligne iq4_nl contre les lignes courtes en sautant les sous-blocs qui commencent à ou après la longueur de la ligne.
Fournit des binaires préconstruits pour macOS (Apple Silicon et Intel), Linux, Windows, Android et openEuler via les backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL et Snapdragon.

Cette correction empêche un accès mémoire hors limites potentiel lors de l'inférence avec des modèles quantisés IQ4_NL sur des appareils CUDA.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Proposition de récupérer la mémoire latente native du LLM au lieu du texte dans le RAG

Une discussion sur Hugging Face propose de remplacer la récupération traditionnelle de texte dans les systèmes RAG par des représentations latentes natives du LLM. L'idée consiste à encoder les documents dans les états internes du modèle lors de l'indexation et à récupérer ces états pour l'inférence, potentiellement en contournant le coût de retraitement du texte récupéré.

github llama.cpp · il y a 17 h · 4 vues

llama.cpp b11309 optimise ALLREDUCE de Hexagon avec le mode scatter sécurisé

Le projet llama.cpp a publié la version b11309, qui comprend une optimisation clé pour le backend Hexagon. Cette mise à jour ajoute le support du mode scatter sécurisé à l'opération ALLREDUCE, visant à améliorer les performances et la stabilité sur les appareils Qualcomm Snapdragon.

github llama.cpp · il y a 20 h · 1 vue

llama.cpp b11307 préserve l'ordre du lot pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b11307, qui corrige l'ordre des entrées des couches pour préserver la séquence de lot originale lors du décodage spéculatif. Ce changement garantit que l'ordre des tokens est correctement maintenu pour les embeddings NextN non masqués et compatible avec les divisions de tenseurs.

github llama.cpp · il y a 21 h · 7 vues

llama.cpp b11306 corrige l'abort de réallocation de graphe en basculant causal_attn

Le projet llama.cpp a publié la version b11306, qui résout un plantage causé par des changements de forme du graphe pendant le décodage. La mise à jour modifie la gestion du drapeau `causal_attn` pour empêcher les échecs de réallocation sous des contraintes d'ordonnancement spécifiques.

github llama.cpp · il y a 22 h · 1 vue

llama.cpp b11301 corrige un débordement entier dans ggml/gguf

Le projet llama.cpp a publié la compilation b11301, qui inclut une correction pour un problème de débordement entier au sein des composants ggml et gguf. Cette mise à jour traite la logique de validation pour prévenir d'éventuelles erreurs lors de la manipulation de tenseurs à zéro élément.