lab Hugging Face Blog · il y a 1 j · releases

Le créateur d'oMLX, Jun Kim, rejoint Hugging Face pour soutenir la communauté MLX

Traduit de English → Français

Jun Kim, créateur et mainteneur d'oMLX, a rejoint Hugging Face pour soutenir la communauté MLX. Cette démarche vise à fournir de la stabilité et un développement plus rapide au projet open-source en le faisant passer d'un travail secondaire à une initiative entièrement maintenue et financée.

Jun Kim continuera de diriger oMLX sous la licence Apache 2.0.
Le projet servira de banc d'essai pour de nouvelles idées tout en tirant parti des dépendances telles que mlx-lm et mlx-vlm.
Un objectif clé est de simplifier la transition des définitions de modèles transformers vers les implémentations de référence MLX.
Hugging Face vise à renforcer les relations avec des projets tels que LMStudio, mlx-lm et mlx-vlm.

Cette collaboration cherche à débloquer la communauté en fournissant des outils et des blocs de construction pour exécuter l'IA locale sous diverses formes.

Importance 1/3 Confiance 1/3 Hugging Face Blog Hugging Face Apple ML Local inference

Lire l'original

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 17 h · 9 vues

llama.cpp ajoute le support de DFlash pour HunyuanOCR et corrige la conversion des brouillons

Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.

lab Hugging Face Blog · il y a 21 h · 10 vues

Transformers ajoute le support GGUF via les noyaux ggml pour l'inférence locale

La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.

github llama.cpp · il y a 4 j · 21 vues

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 6 j · 15 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.