github llama.cpp · il y a 2 h · inference

llama.cpp b10231 ajoute le support du sidecar DSpark

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10231, introduisant le support pour le sidecar de décodage spéculatif DSpark. Cette mise à jour permet aux fichiers dspark d'être résolus de manière similaire aux autres sidecars spéculatifs, avec le tag -hfd appliqué à ceux-ci et la sélection automatique privilégiant dspark par rapport à dflash en raison de sa tête Markov supplémentaire.

La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x avec CPU, Vulkan, ROCm 7.2, OpenVINO et backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler (x86 et aarch64 avec ACL Graph).

Cette mise à jour élargit les options d'accélération matérielle disponibles pour les utilisateurs de llama.cpp sur plusieurs systèmes d'exploitation et architectures GPU.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10235 ajoute l'op SILU_BACK pour f32

Le projet llama.cpp a publié la version b10235, introduisant une nouvelle opération SILU_BACK pour la précision f32. Cette mise à jour inclut l'implémentation de l'opérateur silu_back et supprime les assertions redondantes du fichier ggml-metal-ops.cpp.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.

github llama.cpp · il y a 6 h

llama.cpp b10229 corrige les données de profilage OpenCL non vidées

Le projet llama.cpp a publié la version b10229, qui inclut une correction critique pour le backend OpenCL. La mise à jour résout un problème où les données de profilage n'étaient pas écrites lors de la terminaison du programme.

media Hugging Face Forums · il y a 21 h · 6 vues

Hardik Kumar publie la matrice de prix d'inférence HF montrant un écart de prix jusqu'à 4,66x

Un nouvel ensemble de données publié sur Hugging Face fournit une matrice de prix complète pour les fournisseurs d'inférence de modèles, révélant des disparités de coûts significatives pour les mêmes modèles entre différents vendeurs.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.