github llama.cpp · à l'instant · inference

llama.cpp b10889 évite l'allocation du cache V pour l'indexeur

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10889, qui inclut une optimisation de la mémoire pour éviter d'allouer le cache V pour l'indexeur car il n'est pas utilisé.

Cette mise à jour fournit des binaires précompilés pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x avec CPU, Vulkan, ROCm 10.0, OpenVINO et backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) et openEuler.

La version inclut également l'interface utilisateur llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 17 h · 1 vue

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.

media r/LocalLLaMA · il y a 20 h · 1 vue

gtrg55 lance la version quantisée en INT4 de NVIDIA Cosmos3 64B pour la génération d'images locale

Un utilisateur a publié du code et des poids pour exécuter localement le modèle Cosmos3 de NVIDIA avec 64 milliards de paramètres en utilisant la quantification INT4. L'implémentation prend en charge les tâches Texte-vers-Image et Image-vers-Vidéo sur Apple Silicon via MLX, ainsi que CUDA.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10872 corrige l'opérande gauche null dans la recherche de modèles Jinja

Le projet llama.cpp a publié la compilation b10872, qui inclut une correction pour la gestion des modèles Jinja. La mise à jour résout un problème où les modèles définissant par défaut une variable optionnelle sur none et testant son appartenance dans un map ont précédemment provoqué une erreur.