github llama.cpp · à l'instant · inference

llama.cpp b10817 ajoute le traçage mémoire SYCL via GGML_SYCL_MEMTRACE

Traduit de English → Français

La version llama.cpp b10817 introduit une nouvelle fonctionnalité de traçage mémoire SYCL pour aider les développeurs à comprendre les schémas d'allocation de mémoire du périphérique. Cette fonctionnalité est contrôlée par deux nouvelles variables d'environnement qui permettent une journalisation détaillée de l'utilisation de la mémoire.

La définition de GGML_SYCL_MEMTRACE=1 affiche l'utilisation de la mémoire par site, mise à jour uniquement lorsque les allocations augmentent de plus de 64MiB.
La définition de GGML_SYCL_MEMTRACE=2 enregistre chaque événement individuel d'allocation et de désallocation.
Le seuil de rapport par défaut peut être personnalisé à l'aide de la variable GGML_SYCL_MEMTRACE_STEP.

Cet outil est destiné à aider au débogage des problèmes liés à la mémoire et s'est déjà révélé utile pour améliorer l'algorithme --fit.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp 0.4.0 ajoute le support de Qwen3.8-Flash-Next et Nemotron-3-Puzzle

llama.cpp version 0.4.0 introduit le support d'architecture initial pour les modèles Qwen3.8-Flash-Next et NVIDIA Nemotron-3-Puzzle-75B-A9B, ainsi qu'une mise à jour de la bibliothèque sous-jacente ggml vers la version 0.23.0.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10795 fusionne les opérations SYCL

Le projet llama.cpp a publié la version b10795, qui inclut une nouvelle optimisation pour le backend SYCL. Cette mise à jour permet la fusion des chaînes RMS_NORM+MUL+ADD et ADD+ADD residual sous le drapeau GGML_SYCL_ENABLE_FUSION.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

media r/LocalLLaMA · il y a 2 j · 6 vues

IFM publie K2-Horizon-MoVA-36B-A4B, un modèle MoE creux avec 4B de paramètres actifs

IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.

github llama.cpp · il y a 2 j · 8 vues

llama.cpp ajoute le support de l'attention flash clairsemée pour le préremplissage Metal

Le projet llama.cpp a introduit le support de l'attention flash clairsemée (FA) pour le backend Metal, ciblant spécifiquement la phase de préremplissage de l'inférence du modèle. Cette mise à jour inclut un nouveau noyau qui compacte les entrées de masque fini en listes d'index par ligne et étend le noyau vectoriel FA avec une récupération d'index clairsemée optionnelle.