github llama.cpp · il y a 3 h · inference

llama.cpp b10076 vectorise get_rows avec copie int4 pour une accélération de 27 %

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10076, qui introduit une optimisation de performance dans le backend CUDA en vectorisant l'opération `get_rows` à l'aide de copies int4. Ce changement extrait le travail invariant par ligne de la boucle élément par élément et ajoute un chemin vectorisé qui copie 16 octets par thread pour des données contiguës du même type.

L'implémentation est conditionnée au moment de la compilation et de l'exécution, nécessitant un alignement de 16 octets et des conditions de stride spécifiques pour garantir l'exactitude. Un gate d'occupation empêche la régression sur les petits gather à une seule ligne en les maintenant sur le chemin scalaire. Sur Strix Halo (gfx1151), cette optimisation a réduit la latence du gather d'état récurent DeltaNet de 18,6 us à 13,0 us.

La version inclut des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL et OpenCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

zhongkaifu publie TensorSharp, un moteur d'inférence LLM natif .NET pour les modèles GGUF

zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.

media Hugging Face Forums · il y a 1 j · 1 vue

La production d'agents vocaux avec des LLM locaux fait face à une latence persistante et à des limites de contexte

Une équipe déployant deux agents vocaux en production en Espagne, utilisant Retell AI, Ollama et des modèles locaux sur un RTX 4000 Ada, rapporte que si la qualité des conversations s'est améliorée, le problème fondamental de latence reste non résolu. La contrainte principale est un délai d'attente (timeout) d'environ 3 secondes imposé par Retell AI ; si le LLM ne parvient pas à produire un premier jeton dans cette fenêtre, la connexion est interrompue, entraînant la fin de l'appel après deux tentatives de reconnexion.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10067 exclut la table de routage de DeepSeek-V4 de la quantisation

Le projet llama.cpp a publié la version b10067, qui inclut une correction pour l'outil `llama-quantize` afin de gérer correctement les modèles DeepSeek-V4. La mise à jour empêche le quantiseur d'essayer de convertir le tenseur `ffn_gate_tid2eid`, une table d'index token-to-expert i32, en un type float.