github llama.cpp · il y a 1 j · inference

llama.cpp b10354 corrige le masque d'affinité CPU sur Android

Traduit de English → Français

Le projet llama.cpp a publié la version b10354, qui inclut une correction pour le masque d'affinité CPU ignoré sur les appareils Android.

La release fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO) et Android (arm64).

Le support de KleidiAI pour macOS Apple Silicon reste désactivé dans cette build.

Les builds openEuler sont largement désactivés, seules des configurations spécifiques x86 et aarch64 étant disponibles.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10344 ajoute le support MTP pour les modèles Nemotron

Le projet llama.cpp a publié la compilation b10344, qui introduit le support de la Multi-Token Prediction (MTP) spécifiquement pour les modèles Nemotron et Nemotron Nano.

github llama.cpp · il y a 2 j

llama.cpp ajoute l'architecture Granite-Switch avec un routeur intégré pour la sélection LoRA par token

Le projet llama.cpp introduit le support de l'architecture Granite-Switch, une variante de modèle dense comportant N adaptateurs LoRA intégrés qui sont sélectionnés par token via des tokens de contrôle. Cette implémentation remplace un précédent prototype d'index global collant par un mécanisme d'attention « routeur » causal intégré au graphe pour résoudre les indices d'adaptateur.

github llama.cpp · il y a 2 j

Sortie de llama.cpp b10336 avec refactorisation de ggml-webgpu

Le projet llama.cpp a publié la version b10336, qui comprend une refactorisation de plusieurs fichiers wgsl et une simplification de flash_attn wgsl au sein du composant ggml-webgpu.

media Hugging Face Forums · il y a 3 j · 8 vues

vLLM Launcher fournit un bureau de travail pour l'inférence LLM locale sous Windows

Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10330 fusionne rms_norm, mul et rope sur CUDA

Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.