github llama.cpp · à l'instant · inference

llama.cpp b10414 ajoute le support de TQ2_0 et optimise le noyau mul_mv

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10414, introduisant le support du type de quantification ternaire GGML_TYPE_TQ2_0 dans le backend Metal. Cette mise à jour inclut également des optimisations pour le noyau mul_mv de tenseurs contigus (cont).

Ajout du support GGML_TYPE_TQ2_0 (ternaire, 2 bits par élément) au backend Metal.
Optimisation du noyau mul_mv en passant d'opérations entières à des opérations en virgule flottante.
Amélioration des performances grâce aux sommes précalculées, aux coefficients déplacés et aux chargements contigus de y.

Cette version fournit des binaires mis à jour pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, Vulkan, ROCm et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10354 corrige le masque d'affinité CPU sur Android

Le projet llama.cpp a publié la version b10354, qui inclut une correction pour le masque d'affinité CPU ignoré sur les appareils Android.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10344 ajoute le support MTP pour les modèles Nemotron

Le projet llama.cpp a publié la compilation b10344, qui introduit le support de la Multi-Token Prediction (MTP) spécifiquement pour les modèles Nemotron et Nemotron Nano.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp ajoute l'architecture Granite-Switch avec un routeur intégré pour la sélection LoRA par token

Le projet llama.cpp introduit le support de l'architecture Granite-Switch, une variante de modèle dense comportant N adaptateurs LoRA intégrés qui sont sélectionnés par token via des tokens de contrôle. Cette implémentation remplace un précédent prototype d'index global collant par un mécanisme d'attention « routeur » causal intégré au graphe pour résoudre les indices d'adaptateur.

github llama.cpp · il y a 3 j

Sortie de llama.cpp b10336 avec refactorisation de ggml-webgpu

Le projet llama.cpp a publié la version b10336, qui comprend une refactorisation de plusieurs fichiers wgsl et une simplification de flash_attn wgsl au sein du composant ggml-webgpu.

media Hugging Face Forums · il y a 5 j · 9 vues

vLLM Launcher fournit un bureau de travail pour l'inférence LLM locale sous Windows

Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.