github llama.cpp · il y a 1 h · inference

llama.cpp b10429 permet d'accéder à /metrics et /slots pendant llama_decode()

Traduit de English → Français

Le projet llama.cpp a publié la version b10429, qui modifie le serveur pour permettre l'accès aux points de terminaison /metrics et /slots pendant que llama_decode() s'exécute.

La mise à jour modifie server_queue::worker pour appeler llama_decode à l'intérieur de yield_to_queue.
Elle gère également process_mtmd_chunk pendant cette opération.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour améliore la réactivité du serveur en empêchant le blocage des points de terminaison pendant l'inférence du modèle.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10430 permet les appareils igpu virtuels

Le projet llama.cpp a publié la version b10430, qui introduit le support des périphériques GPU intégrés (igpu) virtuels. Cette mise à jour comprend également des commentaires améliorés au sein de la base de code.

github llama.cpp · il y a 7 h

llama.cpp b10427 fusionne les opérations FFN SYCL pour un gain de débit jusqu'à 12,4 %

Le projet llama.cpp a publié la version b10427, qui inclut une optimisation de performance pour les GPU Intel Arc via SYCL. La mise à jour implémente la fusion des opérations gate, up et GLU au sein de la couche feed-forward dense (FFN) q4_K.

github llama.cpp · il y a 8 h · 1 vue

llama.cpp b10425 fusionne l'écriture d'état gated-delta-net pour une accélération de +1,2 %

Le projet llama.cpp a publié la version b10425, qui inclut un port de l'optimisation SYCL pour fusionner la copie d'écriture d'état gated-delta-net.

arxiv arXiv cs.CL · il y a 11 h

Multiplication matricielle réduite : réduction adaptative au niveau de l'entrée pour l'inférence des LLM

Les chercheurs proposent la Multiplication Matricielle Réduite (RMM), une méthode d'inférence sans entraînement et adaptative à l'entrée, qui réduit les produits matriciels des Transformers en sélectionnant des tranches informatives le long des dimensions de contraction, sans modifier les poids du modèle. Sous un contrôle simple du ratio de rétention, RMM offre un compromis précision-efficacité fluide et prévisible pour des modèles linguistiques allant de 1B à 70B paramètres.

github llama.cpp · il y a 16 h

llama.cpp b10418 ajoute le support de la mémoire fixe hôte pour SYCL

Le projet llama.cpp a publié la version b10418, introduisant le support de la mémoire fixe hôte pour améliorer l'accès à la mémoire Hôte-vers-Dispositif dans SYCL. Cette mise à jour traite des problèmes de sécurité des threads au sein de l'implémentation du backend.