github llama.cpp · il y a 1 h · inference

llama.cpp b10241 corrige les data-races SMEM dans block_reduce pour CUDA

Traduit de English → Français

Le projet llama.cpp a publié la version b10241, qui résout un bug critique dans le backend CUDA. La mise à jour corrige les data-races survenant lors de la réutilisation de la mémoire partagée (SMEM) pendant les réductions par blocs.

Corrige l'absence de resync après la lecture depuis SMEM dans block_reduce pour prévenir les data-races.
Implémente le double-buffering pour les opérations softmax et de normalisation à ligne unique.
Ajoute des commentaires explicatifs et des barrières mémoire spécifiquement pour les scénarios multi-warp.
Fournit des binaires pour macOS, Linux, Windows, Android et iOS via CPU, CUDA, Vulkan, ROCm et autres backends.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Quesma publie une carte curatée de 218 outils et articles pour l'efficacité du coût des tokens LLM

Quesma a publié une liste ouverte et curatée contenant 218 entrées qui suivent où les tokens sont dépensés dans les flux de travail LLM et agents. La ressource couvre la surveillance, le cache sémantique, les modèles locaux bon marché, l'ingénierie du contexte et la gouvernance des coûts.

github llama.cpp · il y a 7 h

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.

github llama.cpp · il y a 8 h · 3 vues

llama.cpp b10237 ajoute le support MTP pour DeepSeek V3.2

Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.

media Hugging Face Forums · il y a 10 h · 2 vues

Qxern-v6 utilise des jetons latents et un sidecar AST pour un transfert de code plus rapide et précis

Le système Qxern-v6 permet à deux LLM de communiquer via 32 jetons latents compressés tout en préservant une exactitude symbolique parfaite grâce à un sidecar d'Abstract Syntax Tree (AST) adaptatif et déterministe. Conçu par un développeur de 15 ans, l'architecture utilise Qwen2.5-Coder-1.5B pour compresser le code et un décodeur gelé Qwen3.5-0.8B pour l'interpréter sans voir le texte brut.

github llama.cpp · il y a 10 h · 6 vues

llama.cpp b10236 implémente le DSv4 Lightning Indexer Metal

La version llama.cpp b10236 introduit une implémentation Metal du DSv4 Lightning Indexer, prenant spécifiquement en charge les entrées de 128 dimensions avec des requêtes et poids F32 ainsi que des clés et masques F16.