github llama.cpp · il y a 2 h · inference

llama.cpp b10813 ajoute le chemin Adreno xmem SDPA et corrige les erreurs numériques

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10813, qui introduit une implémentation OpenCL pour les GPU Adreno utilisant le chemin xmem SDPA (Scaled Dot-Product Attention). Cette mise à jour traite également des erreurs numériques dans les mécanismes GQA et l'attention masquée.

Ajout du chemin Adreno xmem SDPA pour l'accélération OpenCL.
Suppression de la substitution de profilage de file spécifique à Adreno.
Correction des erreurs numériques dans GQA et l'attention masquée.
Introduction de la variable d'environnement GGML_OPENCL_XMEM_SDPA pour contrôler la fonctionnalité.

La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via des backends CPU, GPU et matériel spécialisé.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10814 étend la couverture des opérations élémentaires et du mouvement de données OpenCL

La version llama.cpp b10814 élargit le support du backend OpenCL en ajoutant neuf nouvelles opérations unaires élémentaires et en améliorant les noyaux de déplacement de données.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10816 ajoute des réglages fa-vec pour M3 et de nouveaux binaires

Le projet llama.cpp a publié la version b10816, qui inclut des mises à jour du backend Metal pour les appareils Apple Silicon. La publication se concentre sur l'ajout des derniers réglages fast-vector spécifiquement pour l'architecture de la puce M3.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp 0.4.0 ajoute le support de Qwen3.8-Flash-Next et Nemotron-3-Puzzle

llama.cpp version 0.4.0 introduit le support d'architecture initial pour les modèles Qwen3.8-Flash-Next et NVIDIA Nemotron-3-Puzzle-75B-A9B, ainsi qu'une mise à jour de la bibliothèque sous-jacente ggml vers la version 0.23.0.

github llama.cpp · il y a 8 h · 1 vue

llama.cpp b10798 rend configurable le flux de sortie des informations de build

Le projet llama.cpp a publié la version b10798, introduisant une modification pour rendre le flux de sortie des informations de build configurable. Cette mise à jour permet à `llama_print_build_info` d'écrire dans un FILE* fourni par l'appelant au lieu de coder en dur stderr.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10796 ajoute n_expert_used_max pour corriger le chargement de Nemotron-3-Puzzle

Le projet llama.cpp a publié la compilation b10796, qui inclut une modification du chargeur de modèles pour prendre en charge les modèles avec un nombre variable d'experts par couche.