github llama.cpp · il y a 1 h · inference

llama.cpp b10198 ajoute le support Vulkan pour la concaténation quantifiée

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10198, qui introduit le support des opérations de concaténation quantifiée dans le backend Vulkan.

La mise à jour technique principale est l'ajout du support Vulkan pour la concat quantifiée, implémentée dans la pull request #25684.
Les compilations macOS Apple Silicon avec KleidiAI sont explicitement désactivées dans cette version.
Des binaires sont fournis pour plusieurs plateformes, y compris macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android et openEuler.
Un binaire UI autonome est également inclus dans le package de release.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.

github llama.cpp · il y a 3 j · 3 vues

llama.cpp b10155 ajoute le support audio MiMo-V2.5

Le projet llama.cpp a publié la compilation b10155, qui introduit le support pour le modèle d'entrée audio MiMo-V2.5. Cette mise à jour inclut un convertisseur GGUF pour l'audio MiMo et implémente la logique backend C++ nécessaire pour gérer les modèles audio basés sur RVQ.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10150 ajuste la logique de déchargement ggml et corrige le graphe dsv4

Le projet llama.cpp a publié la compilation b10150, qui inclut des ajustements à la logique ggml pour les opérations de déchargement vers le backend des poids. Cette mise à jour traite également des corrections pour le graphe llama dsv4.

media Hugging Face Forums · il y a 3 j · 2 vues

TraceML ajoute un callback Hugging Face Trainer pour diagnostiquer les goulots d'étranglement du chargement des données

L'auteur a intégré un outil de diagnostic dans TraceML, un projet d'observabilité PyTorch open-source, pour aider les utilisateurs à distinguer les problèmes de performance d'entraînement limités par le calcul GPU et ceux limités par l'entrée. Cette nouvelle fonctionnalité permet aux développeurs d'identifier rapidement si une faible utilisation du GPU est causée par un chargement lent des données ou par des limites réelles de calcul du modèle.

github llama.cpp · il y a 3 j · 6 vues

Aaron Teo ajoute l'argument -lm mlock à llama.cpp

Aaron Teo a soumis une modification au dépôt llama.cpp qui introduit un nouvel argument en ligne de commande `-lm mlock`. Cette ajout permet aux utilisateurs de verrouiller explicitement la mémoire dans les régions où le code effectue des opérations `mlock` mais n'utilise pas `mmap`.