github llama.cpp · il y a 1 h · inference

llama.cpp b11147 ajoute un noyau OpenCL dp4a non-MoE Q6_K A8

Traduit de English → Français

Le projet llama.cpp a publié la version b11147, qui introduit un nouveau noyau binaire pour OpenCL. Cette mise à jour ajoute spécifiquement le support pour la configuration A8 Q6_K non-MoE dp4a.

Ajoute un noyau binaire A8 Q6_K non-MoE dp4a pour OpenCL.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette version permet aux utilisateurs d'exécuter llama.cpp sur une large gamme de plateformes matérielles avec les dernières optimisations du noyau.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11132 ajoute le support du backbone de brouillon Gemma 4 DSpark

Le projet llama.cpp a publié la version b11132, introduisant le support pour le backbone de brouillon Gemma 4 DSpark. Cette mise à jour active la conversion GGUF et les capacités d'exécution pour les brouillons Gemma 4 avec attention complète et SWA, y compris les poids de sortie liés et les métadonnées du backbone booléennes.

github llama.cpp · il y a 11 h · 12 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 1 j · 13 vues

llama.cpp b11111 ajoute des noyaux d'optimisation flash attention pour Intel Xe

Le projet llama.cpp a publié la compilation b11111, qui introduit des noyaux d'optimisation flash attention basés sur Vulkan pour les chemins split k sur les architectures Xe-LPG Plus, Xe2 et Xe3.

github llama.cpp · il y a 1 j · 11 vues

llama.cpp ajoute le support de DFlash pour HunyuanOCR et corrige la conversion des brouillons

Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.

github llama.cpp · il y a 1 j · 14 vues

la version b11101 de llama.cpp permet des appels répétés à find_package pour llama

Le projet llama.cpp a publié la version b11101, qui inclut une correction du système de compilation permettant des appels répétés à find_package pour la bibliothèque llama.