github llama.cpp · il y a 1 h · inference

llama.cpp b10418 ajoute le support de la mémoire fixe hôte pour SYCL

Traduit de English → Français

Le projet llama.cpp a publié la version b10418, introduisant le support de la mémoire fixe hôte pour améliorer l'accès à la mémoire Hôte-vers-Dispositif dans SYCL. Cette mise à jour traite des problèmes de sécurité des threads au sein de l'implémentation du backend.

Ajoute le support de ggml_backend_sycl_host_buffer_type_get_max_size pour la mémoire fixe hôte.
Corrige un problème de sécurité des threads dans le backend SYCL.
Inclut des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) et openEuler.
Fournit un package UI unifié pour toutes les plateformes.

La version permet un transfert de données plus rapide entre la mémoire hôte et dispositif pour le matériel compatible SYCL tout en assurant la stabilité grâce à une sécurité des threads améliorée.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Le backend OpenVINO de llama.cpp ajoute le support de Qwen3.5 et des optimisations mémoire

Le projet llama.cpp a fusionné des mises à jour significatives pour son backend OpenVINO, permettant principalement le support de la famille de modèles Qwen3.5 et introduisant plusieurs techniques d'optimisation mémoire.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10414 ajoute le support de TQ2_0 et optimise le noyau mul_mv

Le projet llama.cpp a publié la compilation b10414, introduisant le support du type de quantification ternaire GGML_TYPE_TQ2_0 dans le backend Metal. Cette mise à jour inclut également des optimisations pour le noyau mul_mv de tenseurs contigus (cont).

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10354 corrige le masque d'affinité CPU sur Android

Le projet llama.cpp a publié la version b10354, qui inclut une correction pour le masque d'affinité CPU ignoré sur les appareils Android.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10344 ajoute le support MTP pour les modèles Nemotron

Le projet llama.cpp a publié la compilation b10344, qui introduit le support de la Multi-Token Prediction (MTP) spécifiquement pour les modèles Nemotron et Nemotron Nano.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp ajoute l'architecture Granite-Switch avec un routeur intégré pour la sélection LoRA par token

Le projet llama.cpp introduit le support de l'architecture Granite-Switch, une variante de modèle dense comportant N adaptateurs LoRA intégrés qui sont sélectionnés par token via des tokens de contrôle. Cette implémentation remplace un précédent prototype d'index global collant par un mécanisme d'attention « routeur » causal intégré au graphe pour résoudre les indices d'adaptateur.