github llama.cpp · il y a 2 h · inference

llama.cpp b11157 ajoute conv3d avec GEMM implicite pour CUDA

Traduit de English → Français

Le projet llama.cpp a publié la version b11157, introduisant le support des opérations de convolution 3D utilisant le GEMM implicite sur CUDA. Cette mise à jour affine l'implémentation pour gérer les noyaux vides et est disponible sur une large gamme de plateformes incluant macOS, Linux, Windows, Android et iOS.

Ajoute conv3d avec GEMM implicite pour les backends CUDA.
Affine la logique du GEMM implicite de conv3d pour gérer correctement les noyaux vides.
Fournit des binaires pour CPU, Vulkan, ROCm, OpenVINO, SYCL et Snapdragon sur Linux et Windows.
Inclut des builds pour macOS Apple Silicon (arm64), macOS Intel (x64) et iOS XCFramework.
Propose des builds Android arm64 avec support pour CPU, GPU Adreno et NPU Hexagon.

Cette version étend les capacités d'accélération matérielle de la bibliothèque en activant les opérations de convolution 3D sur les GPU NVIDIA.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11156 ajoute le support de Ling 3.0 VL via BailingMoeV3

Le projet llama.cpp a publié la compilation b11156, qui introduit le support pour le modèle Ling 3.0 VL. Cette mise à jour intègre Ling 3.0 VL dans l'architecture BailingMoeV3 et garantit que les listes NORM rope partagées restent intactes lors du basculement de BailingMoe3 sur les sections mrope.

github llama.cpp · il y a 12 h · 3 vues

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.

lab Microsoft Research Blog · il y a 14 h · 15 vues

Microsoft Research montre que le déchargement de l'inférence d'IA physique améliore les performances et l'autonomie des robots

Microsoft Research remet en question l'hypothèse selon laquelle l'inférence d'IA physique doit s'exécuter exclusivement sur les GPU embarqués des robots, démontrant que le déchargement vers une infrastructure edge ou cloud améliore considérablement les charges de travail de manipulation mobile. Leur étude systématique des charges de travail robotiques révèle que la dépendance au calcul embarqué limite les performances, l'autonomie et l'évolutivité.

github llama.cpp · il y a 15 h · 11 vues

llama.cpp b11147 ajoute un noyau OpenCL dp4a non-MoE Q6_K A8

Le projet llama.cpp a publié la version b11147, qui introduit un nouveau noyau binaire pour OpenCL. Cette mise à jour ajoute spécifiquement le support pour la configuration A8 Q6_K non-MoE dp4a.

github llama.cpp · il y a 17 h · 9 vues

llama.cpp b11140 active sparse-fa pour le préremplissage dsv4 sur CUDA

Le projet llama.cpp a publié la version b11140, qui inclut une optimisation CUDA permettant d'activer sparse-fa pour le préremplissage dsv4. Cette mise à jour résout les problèmes de performance dans le processus de balayage du masque flash attention en templateant les noyaux pour permettre le déroulement des boucles au moment de la compilation.