github llama.cpp · il y a 17 h · inference

llama.cpp ajoute le support de DFlash pour HunyuanOCR et corrige la conversion des brouillons

Traduit de English → Français

Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.

La mise à jour corrige également la conversion des brouillons DFlash par rapport aux cibles HunYuan, résolvant deux échecs spécifiques : un AttributeError causé par la gestion du vocabulaire non lié et des recherches de configuration qui lisaient incorrectement les paramètres du brouillon au lieu des configurations cibles. Ces corrections garantissent que la conversion des brouillons DFlash tencent/HunyuanOCR réussit pour les points de contrôle version 1.5 et v1.0 sans altérer les conversions des modèles de base.

Ces modifications permettent un décodage spéculatif efficace pour les modèles basés sur Hunyuan dans llama.cpp, améliorant la vitesse d'inférence tout en maintenant la fidélité de la sortie.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

lab Hugging Face Blog · il y a 20 h · 10 vues

Transformers ajoute le support GGUF via les noyaux ggml pour l'inférence locale

La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.

github llama.cpp · il y a 4 j · 21 vues

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 6 j · 15 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.

github llama.cpp · il y a 7 j · 20 vues

llama.cpp b11006 ajoute le support Hexagon pour K-Quants Q4_K et Q6_K

Le projet llama.cpp a publié la version b11006, introduisant le support des processeurs Qualcomm Hexagon pour gérer les formats de K-Quantization. Cette mise à jour implémente des noyaux spécifiques pour les niveaux de quantification Q4_K et Q6_K sur l'architecture Hexagon.

github llama.cpp · il y a 8 j · 26 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.