github llama.cpp · il y a 1 h · inference

llama.cpp b10447 redessine le modèle de threads yield_to_queue

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10447, qui inclut un redessin du modèle de threads `yield_to_queue`. Ce changement implique l'exécution de `common_speculative_process` dans le worker et le remplacement du design du thread worker vers le thread principal.

La version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, OpenVINO, SYCL et ROCm désactivé), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 7.14) et openEuler (avec certaines compilations désactivées).

Cette mise à jour est disponible au téléchargement sur les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10444 ajoute le support des modèles assistants MTP et supprime eagle3

Le projet llama.cpp a publié la version b10444, introduisant le support pour charger des modèles assistants de Prédiction Multi-Tokens (MTP) via le drapeau `--models-dir`. Cette mise à jour inclut également une vérification stricte du préfixe pour les modèles MTP dans les préréglages et supprime le support du type de brouillon eagle3.

github llama.cpp · il y a 6 h

llama.cpp b10442 ajoute SHMEM_STRIDE_PAD Vulkan pour Intel Xe et corrige la lecture hors limites

Le projet llama.cpp a publié la version b10442, introduisant des optimisations Vulkan spécifiques pour le matériel Intel Xe tout en traitant les problèmes de sécurité mémoire dans les routines de multiplication de matrices.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10434 transmet reasoning_effort aux modèles

Le projet llama.cpp a publié la compilation b10434, qui ajoute le support pour transmettre le paramètre `reasoning_effort` aux modèles Jinja. Ce changement garantit que les valeurs de `reasoning_effort` d'OpenAI Chat Completions sont stockées et disponibles pendant la génération.

github llama.cpp · il y a 2 j

llama.cpp b10418 ajoute le support de la mémoire fixe hôte pour SYCL

Le projet llama.cpp a publié la version b10418, introduisant le support de la mémoire fixe hôte pour améliorer l'accès à la mémoire Hôte-vers-Dispositif dans SYCL. Cette mise à jour traite des problèmes de sécurité des threads au sein de l'implémentation du backend.

github llama.cpp · il y a 2 j · 4 vues

Le backend OpenVINO de llama.cpp ajoute le support de Qwen3.5 et des optimisations mémoire

Le projet llama.cpp a fusionné des mises à jour significatives pour son backend OpenVINO, permettant principalement le support de la famille de modèles Qwen3.5 et introduisant plusieurs techniques d'optimisation mémoire.