github llama.cpp · il y a 1 h · inference

llama.cpp b10472 ignore le remplacement de l'UMA pour les builds HIP

Traduit de English → Français

Le projet llama.cpp a publié la build b10472, qui inclut une correction pour ignorer le remplacement de l'architecture de mémoire unifiée (UMA) pour les builds HIP. Ce changement résout un problème où les unités de traitement accéléré (APU) AMD rapportaient des informations de mémoire inexactes via hipMemGetInfo.

La mise à jour résout le problème GitHub #18159 en empêchant MemAvailable de promettre trop sur les systèmes avec de petites zones réservées.
Les builds macOS Apple Silicon avec KleidiAI sont désactivés dans cette version.
Le support d'Ubuntu ROCm 7.14 est également désactivé.
Des binaires sont fournis pour Linux, Windows, Android et macOS via CPU, CUDA, Vulkan, OpenVINO, SYCL et autres backends.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Le prototype SpiralCoreAttention sélectionne des blocs de tokens pour le fine-tuning QLoRA sur de longues séquences

Un développeur sollicite des retours sur SpiralCoreAttention, un prototype expérimental de sélection du contexte pendant l'entraînement pour le fine-tuning de LLM à poids ouverts. Au lieu de traiter des séquences longues complètes lors de chaque passage avant et arrière, le système sélectionne des blocs de tokens spécifiques de la séquence à entraîner, tout en évaluant l'adaptateur résultant sur des séquences de contexte complet conservées.

github llama.cpp · il y a 11 h · 7 vues

llama.cpp b10456 corrige le nombre de threads SYCL pour un gain de débit x7 sur Arc 70

Le projet llama.cpp a publié la version b10456, qui inclut une correction critique pour le backend SYCL dans les lancements de noyaux de copie quantifiés. La mise à jour ajuste les nombres de threads et de blocs pour qu'ils soient proportionnels à la taille de la quantification, réduisant ainsi efficacement les problèmes de sous- et sur-allocation.

media r/LocalLLaMA · il y a 1 j · 10 vues

NVIDIA sert Qwen 3.8 2.4T sur GB300 NVL72 à 4K tok/s par GPU

NVIDIA a démontré le service du modèle de paramètres Qwen 3.8 2.4T avec des capacités de raisonnement configurables sur sa plateforme matérielle GB300 NVL72.

github llama.cpp · il y a 2 j · 14 vues

llama.cpp ajoute le support du modèle Kimi-K3 avec reconditionnement MXFP4 et modèle de chat

Le projet llama.cpp a ajouté la prise en charge du modèle textuel Kimi-K3, implémentant son architecture d'attention hybride KDA (linéaire) + MLA (complet) ainsi que cinq caractéristiques architecturales spécifiques absentes de l'ancien Kimi-Linear-48B.

github llama.cpp · il y a 2 j · 14 vues

llama.cpp b10447 redessine le modèle de threads yield_to_queue

Le projet llama.cpp a publié la compilation b10447, qui inclut un redessin du modèle de threads `yield_to_queue`. Ce changement implique l'exécution de `common_speculative_process` dans le worker et le remplacement du design du thread worker vers le thread principal.