github llama.cpp · à l'instant · inference

llama.cpp b10158 ajoute le support eagle3-v3 pour le modèle gpt-oss

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10158, qui introduit le support de l'architecture eagle3-v3 au sein du modèle gpt-oss.

Cette mise à jour est disponible sur plusieurs plateformes et configurations matérielles. Les téléchargements incluent des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, ROCm 7.2, OpenVINO et SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL et HIP), Android et openEuler.

La version fournit des binaires précompilés pour l'application principale et son interface utilisateur, permettant aux utilisateurs d'exécuter le modèle mis à jour sur une grande variété de systèmes sans compiler depuis les sources.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

lab Hugging Face Blog · il y a 5 j · 1 vue

Diffusers ajoute le support natif de l'inférence Nunchaku Lite 4-bit

Hugging Face Diffusers prend désormais en charge le chargement natif des points de contrôle Nunchaku Lite via `from_pretrained()`, éliminant ainsi le besoin d'un moteur d'inférence séparé ou d'une compilation CUDA locale. Cette intégration utilise la méthode SVDQuant pour exécuter les couches transformateur avec des poids et activations en 4 bits (W4A4), réduisant considérablement l'utilisation de la mémoire tout en améliorant la vitesse d'inférence.

github llama.cpp · il y a 6 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 6 j

llama.cpp b10085 corrige l'ancrage de Qwen3-VL en alignant l'interpolation des embeddings de position

Le projet llama.cpp a publié la compilation b10085, qui inclut une correction pour l'interpolation des embeddings de position du modèle de vision Qwen3-VL afin de résoudre les incohérences des coordonnées d'ancrage.

github llama.cpp · il y a 8 j · 2 vues

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.