github llama.cpp · il y a 3 h · inference

llama.cpp b10997 élargit l'heuristique de tuile MoE pour RDNA3.5

Traduit de English → Français

Le projet llama.cpp a publié la version b10997, qui inclut une modification de l'heuristique de tuile ncols_opt de Mixture of Experts (MoE) pour prendre en charge l'architecture RDNA3.5.

Le code dans ggml/src/ggml-cuda/mmq.cu a été mis à jour pour inclure RDNA3.5 dans la vérification des conditions.
Les tests de performance sur une AMD Radeon 8060S ont montré une accélération de +16.198% pour LFM2.5-8B-A1B-UD-Q4_K_M et de +6.189% pour Qwen1.5-MoE-A2.7B-Q2_K.
La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, ROCm, Vulkan, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

llama.cpp b10994 corrige le NaN Metal dans mul_mm_id pour les grandes activations

La version llama.cpp b10994 inclut une correction pour le backend Metal qui résout les sorties NaN dans l'opération `mul_mm_id` lorsque les valeurs d'activation dépassent la plage f16. Ce défaut causait précédemment des vocabulaires entièrement NaN pour des modèles comme Mistral Small 4 lors des étapes de préremplissage de 32 tokens ou plus sur les appareils Apple Silicon.

media Hugging Face Forums · il y a 2 j · 5 vues

MOLT atteint un affinage QLoRA de Qwen 1.5B 23 % plus rapide qu'Unsloth sur RTX 4060 Laptop

L'auteur a développé MOLT, un runtime prioritairement pour Windows dédié à l'affinage QLoRA conscient de la thermique sur des GPU NVIDIA grand public, et l'a comparé à Unsloth en utilisant un million de cibles d'entraînement Qwen 1.5B sur un GPU RTX 4060 Laptop.

media r/LocalLLaMA · il y a 4 j · 7 vues

Un code personnalisé permet à DeepSeek V4.1 de fonctionner plus vite que l'API officielle sur les GPU A100

Un utilisateur a développé une implémentation personnalisée permettant d'exécuter le modèle DeepSeek V4.1 sur des GPU NVIDIA A100 avec des performances supérieures à celles de l'API officielle.

media Hugging Face Forums · il y a 4 j · 3 vues

Proposition pour un runtime IA indépendant du fournisseur avec exécution consciente du budget mémoire

Une proposition sur les forums de Hugging Face décrit une couche commune d'exécution GPU et de gestion de la mémoire conçue pour découpler le code applicatif des fournisseurs matériels spécifiques tels que NVIDIA, AMD et Intel. L'objectif est de permettre aux utilisateurs de spécifier un budget mémoire plutôt que de configurer manuellement des indicateurs spécifiques au backend, des cartes de périphérique ou des stratégies de déchargement.

lab NVIDIA Research · il y a 5 j · 6 vues

Onyx réduit le coût de 1,7 à 9,9 fois et la latence de 2,3 à 12,3 fois pour la recherche ANN disk-oblivious

Les chercheurs proposent Onyx, une approche efficiente en coûts pour la recherche de plus proches voisins approximatifs (ANN) disk-oblivious qui équilibre la bande passante et le nombre d'accès en inversant la conception des systèmes ORAM-ANN les plus avancés.