github llama.cpp · il y a 2 j · inference

llama.cpp b11018 corrige l'erreur d'allocation mémoire SYCL sur Arc B70

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11018, qui inclut une correction pour une erreur d'allocation de mémoire se produisant lors de l'utilisation du GPU Intel Arc B70 avec le backend SYCL.

Résout un problème où l'allocation de mémoire échouait pour les charges de travail dépassant 19.3GB sur l'Arc B70.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenCL, SYCL, ROCm, OpenVINO), Android et UI.
Inclut des compilations spécifiques pour Ubuntu x64/arm64/s390x avec divers supports d'accélérateur incluant CUDA 12/13, ROCm 10.0 et OpenVINO 2026.3.1.

Cette mise à jour assure un fonctionnement stable sur le matériel Intel Arc B70 en corrigeant la logique de gestion de mémoire dans l'implémentation SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b11035 ajoute les noyaux IQ3_S MMQ matmul pour Vulkan

Le projet llama.cpp a publié la version b11035, introduisant le support des noyaux de multiplication matricielle IQ3_S MMQ dans son backend Vulkan.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b11026 saute gate_up_exps pour Qwen35MoE

Le projet llama.cpp a publié la compilation b11026, qui introduit une modification pour sauter gate_up_exps lorsque le drapeau TENSOR_SKIP est défini. Cette modification est spécifiquement requise pour les modèles Qwen35MoE où les tenseurs MTP sont fusionnés mais non chargés.