github llama.cpp · il y a 1 j · inference

llama.cpp b11260 ajoute le support de FP32 GELU_ERF et GEGLU_ERF

Traduit de English → Français

Le projet llama.cpp a publié la version b11260, introduisant le support des fonctions d'activation FP32 GELU_ERF et GEGLU_ERF dans le backend Hexagon. Cette mise à jour inclut également des optimisations pour réduire la pression sur les registres au sein des noyaux associés.

Ajout du support FP32 GELU_ERF et GEGLU_ERF pour Hexagon.
Réduction de la pression sur les registres dans les noyaux hexagon.
Binaires disponibles pour macOS Apple Silicon, Intel et iOS.
Les compilations Linux couvrent CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL et les plateformes Snapdragon.
Les compilations Android arm64 incluent le support du NPU Snapdragon Hexagon.
Les versions Windows proposent des options CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 10.0.

Cette version étend la compatibilité matérielle pour des fonctions d'activation spécifiques et améliore l'efficacité sur les accélérateurs pris en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.

github llama.cpp · il y a 9 h · 2 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 12 h · 2 vues

llama.cpp b11272 optimise l'opération de concaténation Hexagon

Le projet llama.cpp a publié la compilation b11272, qui inclut des optimisations pour le backend Hexagon. Le changement principal se concentre sur l'optimisation de l'opération de concaténation pour améliorer les performances sur le matériel Qualcomm Snapdragon.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b11258 supprime le service worker de l'interface intégrée lorsque l'UI n'est pas servie

Le projet llama.cpp a publié la compilation b11258, qui inclut une correction pour le comportement du service worker de l'interface web intégrée. Auparavant, l'utilisation de drapeaux comme `--path` ou `--no-ui` faisait que les navigateurs conservaient des versions en cache de l'interface car le serveur renvoyait un 404 pour `/sw.js`, ce qui ne déclenche pas la suppression du service worker.

media Hugging Face Forums · il y a 2 j · 4 vues

Krea 2 LoRA Studio permet l'entraînement sur un Colab T4 gratuit

Jordan Epstein a publié Krea 2 LoRA Studio, un projet conçu pour rendre le flux de travail complet de Krea 2 LoRA utilisable sur un GPU Google Colab T4 gratuit. L'outil répond aux contraintes de mémoire en implémentant un flux de travail par étapes qui gère séparément la préparation du cache, l'entraînement et la génération d'aperçus.