github llama.cpp · il y a 1 h · inference

llama.cpp b10159 ajoute le noyau FWHT pour le backend Metal

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10159, qui introduit un noyau de Transformée de Walsh-Hadamard Rapide (FWHT) pour le backend Metal. Cette mise à jour comprend des détails d'implémentation en cours ainsi que des garde-fous de forme et des ajustements de formatage de code.

Ajout du support du noyau FWHT pour le backend Metal dans ggml-metal.
Corrections incluses pour les problèmes de rétrécissement et corrections de style mineures.
Binaires fournis pour macOS, iOS, Linux, Windows, Android et openEuler via les architectures CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) et Apple Silicon.

La publication rend le nouveau noyau Metal disponible aux utilisateurs sur les plateformes compatibles.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10158 ajoute le support eagle3-v3 pour le modèle gpt-oss

Le projet llama.cpp a publié la compilation b10158, qui introduit le support de l'architecture eagle3-v3 au sein du modèle gpt-oss.

github llama.cpp · il y a 5 j · 2 vues

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

lab Hugging Face Blog · il y a 5 j · 1 vue

Diffusers ajoute le support natif de l'inférence Nunchaku Lite 4-bit

Hugging Face Diffusers prend désormais en charge le chargement natif des points de contrôle Nunchaku Lite via `from_pretrained()`, éliminant ainsi le besoin d'un moteur d'inférence séparé ou d'une compilation CUDA locale. Cette intégration utilise la méthode SVDQuant pour exécuter les couches transformateur avec des poids et activations en 4 bits (W4A4), réduisant considérablement l'utilisation de la mémoire tout en améliorant la vitesse d'inférence.

github llama.cpp · il y a 6 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 6 j

llama.cpp b10085 corrige l'ancrage de Qwen3-VL en alignant l'interpolation des embeddings de position

Le projet llama.cpp a publié la compilation b10085, qui inclut une correction pour l'interpolation des embeddings de position du modèle de vision Qwen3-VL afin de résoudre les incohérences des coordonnées d'ancrage.