github llama.cpp · il y a 1 h · inference

llama corrime une course de données sur le scatter du k-pool pour les séquences partagées

Traduit de English → Français

Le projet llama résout une course de données sur le backend CPU qui se produisait lorsque des copies de séquences partagées écrivaient la même représentation du pool de clés-valeurs depuis plusieurs entrées de scatter. La correction garantit que chaque représentation poolée est re-poolisée exactement une fois, empêchant les conflits d'écriture concurrents.

Re-pooliser chaque représentation partagée du k-pool une fois pour résoudre la course de données.
Vérifier la copie de la séquence entière dans la mémoire d'index hybride pour rejeter les plages partielles qui pourraient causer des regroupements de pool invalides.
Supprimer le mode cache_safe du k-pool, permettant aux séquences partageant des cellules de partager des lignes de pool valides sans contournements par invalidation totale.

Ce changement supprime les scans de partage inutiles et la logique d'invalidation d'état, simplifiant le processus de copie de séquence tout en assurant l'intégrité des données.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

arxiv arXiv cs.CL · à l'instant · 1 vue En direct

AdaSpark utilise l'apprentissage en ligne pour accélérer la vérification des arbres et le remplissage par n-grammes

AdaSpark est un ordonnanceur pour les générateurs de blocs comme DSpark qui apprend les largeurs de vérification et les probabilités d'acceptation pendant le service, sans profilage ni calibration préalables. Il ajuste le temps de vérification en fonction du contexte et de l'acceptation des candidats par rapport aux résultats du modèle cible, permettant aux candidats générés et dérivés du texte de concourir dans un seul ordre best-first.

media Hugging Face Forums · il y a 2 h · 1 vue

Trimwise : élagage de contexte sensible aux requêtes

L'auteur a publié Trimwise, une bibliothèque Python open-source conçue pour adapter un texte source à un budget de contexte spécifique en supprimant le matériel non pertinent tout en préservant les éléments probants pertinents pour la question actuelle.

github llama.cpp · il y a 7 h · 20 vues

llama.cpp b11433 ajoute le support de l'opération de pooling Hexagon

Le projet llama.cpp a publié la version b11433, qui introduit le support des opérations de pooling sur le NPU Hexagon. Cette mise à jour inclut des implémentations pour les couches de pooling 2D et 1D.

media r/LocalLLaMA · il y a 10 h · 1 vue

Nokia Applied Research lance AnyJev pour transformer n'importe quel LLM en un modèle de décision de style Jev

Nokia Applied Research a lancé AnyJev, un projet qui permet aux utilisateurs d'extraire des décisions fiables directement depuis l'état interne d'un LLM en un seul passage avant.

media Hugging Face Forums · il y a 10 h · 11 vues

Dev-4B combine des décisions rapides calibrées avec une escalation de raisonnement basée sur les risques

L'auteur a publié Dev-4B, un petit modèle local basé sur Qwen3-4B-Instruct qui répond aux questions tapées sur des documents avec une confiance calibrée. Il utilise un routeur intégré pour décider s'il faut fournir une réponse rapide ou passer à un raisonnement étape par étape uniquement lorsque la prédiction initiale est probablement erronée.