github llama.cpp · il y a 7 h · inference

La version b11280 de llama.cpp réduit la synchronisation allreduce des tenseurs avec des tampons hôtes épinglés

Traduit de English → Français

Le projet llama.cpp a publié la version b11280, qui inclut une modification pour réduire la synchronisation allreduce des tenseurs en utilisant des tampons hôtes épinglés.

Cette mise à jour est disponible sur plusieurs plateformes et backends, y compris macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL et Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 10.0), Android et iOS.

La version fournit également des binaires pour l'interface utilisateur de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

AI Hardware Fit relie les besoins en VRAM des modèles à la sélection de GPU

Le créateur d'AI Hardware Fit a publié un outil navigateur gratuit et open-source conçu pour aider les utilisateurs à déterminer si un modèle local tient sur leur GPU et à comparer les options matérielles appropriées. L'outil s'attaque à la complexité liée au regroupement des fichiers de modèle, de la quantification, de la longueur du contexte et du support d'exécution provenant de sources disparates.

github llama.cpp · il y a 4 j · 8 vues

llama.cpp b11203 ajoute le support des entrées F16 au FWHT CUDA

Le projet llama.cpp a publié la version b11203, qui inclut une modification du Transformée de Walsh-Hadamard rapide (FWHT) de CUDA pour accepter les entrées F16. Auparavant, le FWHT CUDA n'acceptait que des entrées F32 ; cette mise à jour rend le type source un paramètre de modèle afin que le noyau lise directement une source F16 sans nécessiter de copie convertie.

github llama.cpp · il y a 5 j · 21 vues

llama.cpp corrige les échecs d'opérateurs sur MTT S5000 et active les chemins CUB

Le projet llama.cpp a publié une correction pour les échecs d'opérateurs et les problèmes de compilation sur MUSA (MTT S5000), ciblant spécifiquement l'architecture PH1. Cette mise à jour résout des bugs critiques causant des résultats incorrects ou des timeouts sur ce matériel.

github llama.cpp · il y a 6 j · 22 vues

llama.cpp b11160 ajoute le matmul coopmat1 int8 pour AMD RDNA3/4 et le support IQ4_XS

Le projet llama.cpp a publié la version b11160, introduisant une implémentation de matrice coopérative int8 (coopmat1) pour Vulkan sur les architectures AMD RDNA3 et RDNA4. Cette mise à jour inclut un shader dédié qui sonde directement les valeurs coopmat pour améliorer les performances.

github llama.cpp · il y a 11 j · 24 vues

llama.cpp b11059 ajoute le support F16 au noyau FWHT de Metal

Le projet llama.cpp a publié la version b11059, qui introduit des mises à jour significatives pour le backend Metal sur les matériels Apple Silicon. Le changement principal est l'ajout du support des entrées F16 au noyau de Transformée de Walsh-Hadamard rapide (FWHT), lui permettant de lire directement des sources F16 sans nécessiter de copie convertie.