github llama.cpp · il y a 2 h · inference

llama.cpp b10589 ajoute le support CUDA POOL_1D

Traduit de English → Français

Le projet llama.cpp a publié la version b10589, qui introduit le support CUDA POOL_1D via la pull request #27573. Cette mise à jour inclut également une correction pour la conformité editorconfig en ajoutant une nouvelle ligne finale manquante.

La release fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (x64 et arm64) et Android. Les backends pris en charge incluent CPU, CUDA 12/13, Vulkan, ROCm 7.14, OpenVINO, SYCL et OpenCL Adreno.

Cette release permet aux utilisateurs d'exécuter llama.cpp sur une large gamme d'architectures matérielles et de systèmes d'exploitation grâce à la nouvelle capacité de pooling.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10587 ajoute PAD_REFLECT_1D au backend Vulkan

Le projet llama.cpp a publié la compilation b10587, qui introduit l'opération GGML_OP_PAD_REFLECT_1D dans le backend Vulkan. Cette mise à jour implémente le shader de calcul GLSL nécessaire et l'enregistre pour la compilation SPIR-V au sein du module ggml-vulkan.

github llama.cpp · il y a 18 h · 2 vues

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.

media Hugging Face Forums · il y a 21 h · 4 vues

Xyntetik Runner entraîne des LoRA directement à partir de poids GGUF quantifiés

Joakimpalm-Zen a mis à jour Xyntetik Runner pour entraîner des adaptateurs LoRA directement en utilisant les mêmes poids GGUF quantifiés qu'il sert pour l'inférence, éliminant ainsi le besoin d'une copie FP16 séparée pour l'entraînement ou d'un runtime dédié.

github llama.cpp · il y a 23 h · 2 vues

llama.cpp b10581 ajoute le support DSpark pour bailinmoe3

Le projet llama.cpp a publié la compilation b10581, qui introduit le support du backend DSpark pour activer le modèle bailinmoe3.

github llama.cpp · il y a 1 j · 1 vue

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.