github llama.cpp · il y a 1 h · inference

llama.cpp b10430 permet les appareils igpu virtuels

Traduit de English → Français

Le projet llama.cpp a publié la version b10430, qui introduit le support des périphériques GPU intégrés (igpu) virtuels. Cette mise à jour comprend également des commentaires améliorés au sein de la base de code.

La publication fournit des binaires et des frameworks pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu avec CPU, Vulkan, OpenVINO, SYCL et ROCm désactivé), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 7.14) et les architectures openEuler.

Cette mise à jour permet aux utilisateurs d'exécuter llama.cpp sur des systèmes utilisant des configurations igpu virtuelles sur une large gamme de systèmes d'exploitation et d'accélérateurs matériels.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10429 permet d'accéder à /metrics et /slots pendant llama_decode()

Le projet llama.cpp a publié la version b10429, qui modifie le serveur pour permettre l'accès aux points de terminaison /metrics et /slots pendant que llama_decode() s'exécute.

github llama.cpp · il y a 6 h

llama.cpp b10427 fusionne les opérations FFN SYCL pour un gain de débit jusqu'à 12,4 %

Le projet llama.cpp a publié la version b10427, qui inclut une optimisation de performance pour les GPU Intel Arc via SYCL. La mise à jour implémente la fusion des opérations gate, up et GLU au sein de la couche feed-forward dense (FFN) q4_K.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10425 fusionne l'écriture d'état gated-delta-net pour une accélération de +1,2 %

Le projet llama.cpp a publié la version b10425, qui inclut un port de l'optimisation SYCL pour fusionner la copie d'écriture d'état gated-delta-net.

arxiv arXiv cs.CL · il y a 10 h

Multiplication matricielle réduite : réduction adaptative au niveau de l'entrée pour l'inférence des LLM

Les chercheurs proposent la Multiplication Matricielle Réduite (RMM), une méthode d'inférence sans entraînement et adaptative à l'entrée, qui réduit les produits matriciels des Transformers en sélectionnant des tranches informatives le long des dimensions de contraction, sans modifier les poids du modèle. Sous un contrôle simple du ratio de rétention, RMM offre un compromis précision-efficacité fluide et prévisible pour des modèles linguistiques allant de 1B à 70B paramètres.

github llama.cpp · il y a 15 h

llama.cpp b10418 ajoute le support de la mémoire fixe hôte pour SYCL

Le projet llama.cpp a publié la version b10418, introduisant le support de la mémoire fixe hôte pour améliorer l'accès à la mémoire Hôte-vers-Dispositif dans SYCL. Cette mise à jour traite des problèmes de sécurité des threads au sein de l'implémentation du backend.