github llama.cpp · il y a 20 h · inference

la version b11101 de llama.cpp permet des appels répétés à find_package pour llama

Traduit de English → Français

Le projet llama.cpp a publié la version b11101, qui inclut une correction du système de compilation permettant des appels répétés à find_package pour la bibliothèque llama.

cmake : autoriser les appels répétés à find_package pour llama (PR #29228)
Binaires macOS/iOS fournis pour Apple Silicon (arm64), Intel (x64) et iOS XCFramework ; le support de KleidiAI est désactivé.
Binaires Linux disponibles pour Ubuntu x64, arm64 et s390x sur les backends CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL et Snapdragon.
Binaires Android arm64 publiés pour le CPU et Snapdragon (CPU, GPU Adreno, NPU Hexagon).
Binaires Windows fournis pour les CPUs x64 et arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 10.0.
Le support d'openEuler est largement désactivé, seules des configurations spécifiques 310p et 910b (ACL Graph) étant listées.

Cette version fournit des binaires mis à jour pour une large gamme d'accélérateurs matériels et de systèmes d'exploitation, ainsi que la correction cmake.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · à l'instant · 1 vue En direct

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 14 h · 11 vues

llama.cpp b11111 ajoute des noyaux d'optimisation flash attention pour Intel Xe

Le projet llama.cpp a publié la compilation b11111, qui introduit des noyaux d'optimisation flash attention basés sur Vulkan pour les chemins split k sur les architectures Xe-LPG Plus, Xe2 et Xe3.

github llama.cpp · il y a 17 h · 9 vues

llama.cpp ajoute le support de DFlash pour HunyuanOCR et corrige la conversion des brouillons

Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.

lab Hugging Face Blog · il y a 21 h · 10 vues

Transformers ajoute le support GGUF via les noyaux ggml pour l'inférence locale

La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.

github llama.cpp · il y a 1 j · 11 vues

llama.cpp b11097 ajoute le noyau binaire dp4a pour A8 Q4_0 non-MoE

Le projet llama.cpp a publié la version b11097, qui introduit un noyau binaire OpenCL pour le format A8 Q4_0 non-MoE dp4a.