github llama.cpp · il y a 2 j · inference

llama.cpp b11020 ajoute des délimiteurs de message au parseur DeepSeek V3.2/V4

Traduit de English → Français

Le projet llama.cpp a publié la version b11020, qui inclut une mise à jour fonctionnelle de la logique d'analyse du chat. Le changement principal est l'ajout de délimiteurs de message spécifiquement pour les parseurs des modèles DeepSeek V3.2 et V4.

Ajout de délimiteurs de message au parseur DeepSeek V3.2/V4 dans le pull #29008.
Binaires publiés pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

Cette mise à jour garantit l'analyse correcte des structures de conversation pour les modèles DeepSeek dans le cadre de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b11035 ajoute les noyaux IQ3_S MMQ matmul pour Vulkan

Le projet llama.cpp a publié la version b11035, introduisant le support des noyaux de multiplication matricielle IQ3_S MMQ dans son backend Vulkan.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b11026 saute gate_up_exps pour Qwen35MoE

Le projet llama.cpp a publié la compilation b11026, qui introduit une modification pour sauter gate_up_exps lorsque le drapeau TENSOR_SKIP est défini. Cette modification est spécifiquement requise pour les modèles Qwen35MoE où les tenseurs MTP sont fusionnés mais non chargés.