github llama.cpp · il y a 2 h · inference

llama.cpp b10078 refactorise la gestion des files d'attente Vulkan pour contourner le mutex côté hôte

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10078, qui comprend une refactorisation significative du backend Vulkan pour améliorer l'efficacité de la synchronisation. La mise à jour intègre le support de VK_KHR_internally_synchronized_queues, permettant à la bibliothèque d'abstraire la soumission des files d'attente dans une interface polymorphique qui contourne complètement le verrouillage du mutex côté hôte lorsque le pilote le prend en charge.

Refactorise vk_queue pour utiliser des mutex par instance et des gestionnaires uniques pour la propriété exclusive.
Intègre VK_KHR_internally_synchronized_queues pour contourner le verrouillage du mutex côté hôte lorsque pris en charge par le pilote.
Ajoute des définitions de repli et des constantes statiques constexpr pour la détection de internallySynchronizedQueues.
Corrige les erreurs de compilation, les chaînes pNext dupliquées et les vérifications null dans le destructeur vk_device_struct.

Ce changement optimise la gestion du cycle de vie et la sécurité des threads tout en réduisant les appels API redondants lors de la création de l'appareil.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 8 h

llama.cpp b10076 vectorise get_rows avec copie int4 pour une accélération de 27 %

Le projet llama.cpp a publié la compilation b10076, qui introduit une optimisation de performance dans le backend CUDA en vectorisant l'opération `get_rows` à l'aide de copies int4. Ce changement extrait le travail invariant par ligne de la boucle élément par élément et ajoute un chemin vectorisé qui copie 16 octets par thread pour des données contiguës du même type.

media Hugging Face Forums · il y a 2 j · 1 vue

La production d'agents vocaux avec des LLM locaux fait face à une latence persistante et à des limites de contexte

Une équipe déployant deux agents vocaux en production en Espagne, utilisant Retell AI, Ollama et des modèles locaux sur un RTX 4000 Ada, rapporte que si la qualité des conversations s'est améliorée, le problème fondamental de latence reste non résolu. La contrainte principale est un délai d'attente (timeout) d'environ 3 secondes imposé par Retell AI ; si le LLM ne parvient pas à produire un premier jeton dans cette fenêtre, la connexion est interrompue, entraînant la fin de l'appel après deux tentatives de reconnexion.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

media Hugging Face Forums · il y a 3 j · 2 vues

zhongkaifu publie TensorSharp, un moteur d'inférence LLM natif .NET pour les modèles GGUF

zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.