github llama.cpp · à l'instant · inference

llama.cpp b11375 corrige les aborts de réallocation de graphe sous GGML_SCHED_NO_REALLOC

Traduit de English → Français

Le projet llama.cpp a publié la build b11375, qui résout un problème critique où des cellules ubatch non contiguës forçaient des réallocations de graphe qui étaient interrompues lorsque le drapeau GGML_SCHED_NO_REALLOC était défini.

La correction rassemble les états récurrents une fois pour que la réserve couvre chaque division, garantissant que la taille de réserve dans le pire cas est suffisante.
Un seul get_rows rassemble désormais n_rs états, les ubatch et états supplémentaires étant traités comme des vues de cette allocation unique.
Les getters personnalisés comme mamba ssm_scan récupèrent à partir du deuxième état pour éviter de copier les états pour les ubatches de séquence unique.
Les vues sont construites une fois par graphe pour maintenir la surcharge hôte inchangée.

Ce changement assure une exécution stable dans des environnements de planification contraints en prévenant les aborts causés par les contraintes de réallocation mémoire.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11372 divise par deux la mémoire de l'indexeur qwen4exp et ajoute le support CUDA pour 4 têtes

La version b11372 de llama.cpp introduit des optimisations pour l'indexeur éclair du modèle qwen4exp, réduisant principalement de moitié la mémoire requise pour les scores de l'indexeur lors du traitement de contextes longs. Cela est obtenu en calculant les scores des têtes sur place plutôt qu'en matérialisant des tenseurs séparés pour chaque tête.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b11368 ajoute l'échantillonnage probabiliste pour le brouillon simple et MTP

Le projet llama.cpp a publié la compilation b11368, qui introduit l'échantillonnage probabiliste pour les flux de travail de brouillon simple et MTP (Multi-Token Prediction). Cette mise à jour modifie le mécanisme de brouillon pour utiliser une sélection probabiliste tout en vérifiant les cibles par échantillonnage par rejet.

github llama.cpp · il y a 14 h · 1 vue

llama.cpp b11362 ajoute un noyau flash attention pour l'API tensorielle avec KV en F16

Le projet llama.cpp a publié la compilation b11362, qui introduit un nouveau noyau flash attention pour l'API tensorielle prenant en charge le stockage clé-valeur (KV) en F16. Cette mise à jour est disponible sur les plateformes macOS, Linux, Windows, Android et iOS avec diverses options de backend, notamment CUDA, Vulkan et ROCm.

github llama.cpp · il y a 18 h · 4 vues

llama.cpp b11351 ajoute alloc_buffer_n et get_alloc_size_n à l'interface du type de tampon du backend ggml

Le projet llama.cpp a publié la version b11351, introduisant de nouvelles méthodes dans l'interface du type de tampon du backend ggml. La mise à jour ajoute `alloc_buffer_n` et `get_alloc_size_n` pour permettre un contrôle plus fin de l'allocation des tampons et de la requête de taille.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11338 ajoute une copie DMA en pas partagée pour CPY et CONCAT

Le projet llama.cpp a publié la version b11338, introduisant un mécanisme de copie Direct Memory Access (DMA) en pas partagée pour les opérations CPY et CONCAT. Cette mise à jour permet le CONCAT de n'importe quelle dimension via DMA sur les architectures Hexagon.