github llama.cpp · il y a 2 h · inference

llama.cpp b10344 ajoute le support MTP pour les modèles Nemotron

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10344, qui introduit le support de la Multi-Token Prediction (MTP) spécifiquement pour les modèles Nemotron et Nemotron Nano.

Ajoute le support MTP pour le modèle Nemotron Nano.
Introduit la configuration mtp_flags pour le modèle Nemotron.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Cette mise à jour permet aux utilisateurs de tirer parti des capacités MTP avec les modèles Nemotron sur une large gamme de plateformes matérielles et de systèmes d'exploitation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp ajoute l'architecture Granite-Switch avec un routeur intégré pour la sélection LoRA par token

Le projet llama.cpp introduit le support de l'architecture Granite-Switch, une variante de modèle dense comportant N adaptateurs LoRA intégrés qui sont sélectionnés par token via des tokens de contrôle. Cette implémentation remplace un précédent prototype d'index global collant par un mécanisme d'attention « routeur » causal intégré au graphe pour résoudre les indices d'adaptateur.

github llama.cpp · il y a 10 h

Sortie de llama.cpp b10336 avec refactorisation de ggml-webgpu

Le projet llama.cpp a publié la version b10336, qui comprend une refactorisation de plusieurs fichiers wgsl et une simplification de flash_attn wgsl au sein du composant ggml-webgpu.

media Hugging Face Forums · il y a 2 j · 8 vues

vLLM Launcher fournit un bureau de travail pour l'inférence LLM locale sous Windows

Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10330 fusionne rms_norm, mul et rope sur CUDA

Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10328 ajoute l'isolation initiale des outils du serveur via Docker

Le projet llama.cpp a publié la compilation b10328, qui introduit le support initial pour isoler les outils au sein du composant serveur en utilisant Docker. Cette mise à jour inclut la documentation et des adaptations de code pour séparer les bac à sable d'E/S des outils et renommer les indicateurs de configuration pertinents.