github llama.cpp · à l'instant · inference

llama.cpp b10669 lie le cache KV f16 sur place pour le chemin SDPA de oneDNN

Traduit de English → Français

Le projet llama.cpp a publié la version b10669, qui inclut une optimisation de performance pour le chemin SDPA de oneDNN en liant le cache KV f16 sur place.

Le changement réduit le trafic mémoire pendant les chunks de préremplissage ; par exemple, sur Qwen3.8 27B avec une longueur KV active de 34816, il diminue le trafic par ubatch de 4,56 Go à moins en évitant les copies échelonnées.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour offre aux utilisateurs des performances d'inférence optimisées sur le matériel pris en charge tout en maintenant une large compatibilité avec les plateformes.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10666 corrige les tests de sauvegarde/chargement d'état et la copie de séquence sur l'appareil

La version llama.cpp b10666 élargit la suite de tests de sauvegarde/chargement d'état pour s'exécuter sur toutes les architectures et résout plusieurs bugs critiques dans la gestion de l'état et le traitement du graphe. Les modifications clés incluent la correction des références pendantes dans minimax-01, l'alignement de la copie de chunks pour les séquences sur l'appareil, et la correction des comptes de têtes d'indexeur pour deepseek4.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10662 ajoute ctx-per-slot pour le cache KV unifié

Le projet llama.cpp a publié la compilation b10662, introduisant un nouvel argument `--kv-unified-per-slot` qui permet aux utilisateurs de spécifier le contexte par emplacement pour le cache KV unifié. Ce changement remplace l'ancien mécanisme de fraction de contexte par des emplacements de pool de contexte et refactorise l'implémentation sous-jacente.

github llama.cpp · il y a 17 h · 7 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 17 h · 16 vues

llama.cpp b10658 ajoute le support de DFlash2 et corrige un bug mrope

Le projet llama.cpp a publié la compilation b10658, introduisant le support pour la spécification DFlash2 qui inclut la convolution locale et un sélecteur de candidats. Cette mise à jour adresse également un bug spécifique de mrope au sein de la base de code.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp inclut les DLLs du runtime HIP dans la version ROCm pour Windows

Le projet llama.cpp a mis à jour sa version ROCm pour Windows afin d'inclure les DLLs nécessaires du runtime HIP directement à côté des binaires. Ce changement résout le problème #26929 en garantissant que le bon runtime HIP est chargé au lieu de potentiellement entrer en conflit avec la copie du pilote dans System32.