github llama.cpp · il y a 5 j · inference

llama.cpp ajoute un noyau binaire A8 Q8_0 non-MoE dp4a pour OpenCL

Traduit de English → Français

Le projet llama.cpp a ajouté un noyau binaire A8 Q8_0 non-MoE dp4a pour OpenCL.

Le changement est suivi en tant que pull request #29439 dans le dépôt ggml-org/llama.cpp.
Il introduit la prise en charge d'un format de quantification spécifique (A8 Q8_0) en utilisant l'ensemble d'instructions dp4a au sein du backend OpenCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.

media Hugging Face Forums · il y a 1 h · 1 vue En direct

ThermaCompute AI lance CrashLens pour le triage local des journaux de plantage GPU

ThermaCompute AI a lancé CrashLens, un outil gratuit et local conçu pour aider les ingénieurs à enquêter sur les plantages GPU en analysant des fichiers journaux. L'outil identifie les schémas de défaillance connus dans les journaux et suggère des étapes spécifiques à suivre pour l'enquête.

github llama.cpp · il y a 7 h · 2 vues

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.

github llama.cpp · il y a 9 h · 1 vue

La version b11280 de llama.cpp réduit la synchronisation allreduce des tenseurs avec des tampons hôtes épinglés

Le projet llama.cpp a publié la version b11280, qui inclut une modification pour réduire la synchronisation allreduce des tenseurs en utilisant des tampons hôtes épinglés.

github llama.cpp · il y a 10 h · 1 vue

llama.cpp b11282 définit CUDA_ARCH pour les passes de périphérique MUSA

Le projet llama.cpp a publié la compilation b11282, qui inclut une correction pour définir la macro `CUDA_ARCH` pour les passes de périphérique MUSA. Auparavant, l'en-tête du fournisseur MUSA ne définissait pas cette variable, ce qui faisait que les tests d'architecture dans les sources partagées ggml-cuda étaient évalués à zéro et entraînaient des corps de noyau vides.