github llama.cpp · il y a 1 h · inference

Sortie de llama.cpp b10336 avec refactorisation de ggml-webgpu

Traduit de English → Français

Le projet llama.cpp a publié la version b10336, qui comprend une refactorisation de plusieurs fichiers wgsl et une simplification de flash_attn wgsl au sein du composant ggml-webgpu.

Cette mise à jour fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu avec CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et les plateformes openEuler.

La sortie comprend également la compilation standard de l'interface utilisateur pour permettre aux utilisateurs d'interagir avec le moteur d'inférence du modèle.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

vLLM Launcher fournit un bureau de travail pour l'inférence LLM locale sous Windows

Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10330 fusionne rms_norm, mul et rope sur CUDA

Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10328 ajoute l'isolation initiale des outils du serveur via Docker

Le projet llama.cpp a publié la compilation b10328, qui introduit le support initial pour isoler les outils au sein du composant serveur en utilisant Docker. Cette mise à jour inclut la documentation et des adaptations de code pour séparer les bac à sable d'E/S des outils et renommer les indicateurs de configuration pertinents.

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b10327 corrige le nombre de threads/blocs dans le noyau de copie quantifiée

Le projet llama.cpp a publié la version b10327, qui inclut une correction pour le nombre de threads et de blocs lors des lancements du noyau de copie quantifiée sur CUDA. Cette mise à jour traite d'un problème identifié dans la pull request #26731.

github llama.cpp · il y a 3 j · 7 vues

llama.cpp b10313 ajoute un planificateur LRU au serveur

Le projet llama.cpp a publié la version b10313, qui introduit un planificateur LRU (Least Recently Used) pour son composant serveur. Cette mise à jour inclut la gestion de la fusion des requêtes et des corrections pour les cas de streaming.