github llama.cpp · il y a 2 h · inference

llama.cpp b10814 étend la couverture des opérations élémentaires et du mouvement de données OpenCL

Traduit de English → Français

La version llama.cpp b10814 élargit le support du backend OpenCL en ajoutant neuf nouvelles opérations unaires élémentaires et en améliorant les noyaux de déplacement de données.

Ajout d'opérations unaires élémentaires étendues, notamment sgn, step, elu, hardswish, hardsigmoid, floor, ceil, round et trunc pour éviter les retours au CPU.
Implémentation d'un noyau de copie f32 continu qui se répartit sur tout le dispositif pour les mouvements linéaires, optimisant les performances pour les tenseurs avec peu de lignes longues.
Extension du support CONCAT à tous les types facilement copiables (f16, bf16, i8, i16, i32, i64) en utilisant la taille de l'élément comme clé plutôt que le type spécifique.

Ces modifications améliorent la couverture et l'efficacité d'OpenCL pour les backends non-CPU sur macOS, Linux, Windows et Android.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10813 ajoute le chemin Adreno xmem SDPA et corrige les erreurs numériques

Le projet llama.cpp a publié la compilation b10813, qui introduit une implémentation OpenCL pour les GPU Adreno utilisant le chemin xmem SDPA (Scaled Dot-Product Attention). Cette mise à jour traite également des erreurs numériques dans les mécanismes GQA et l'attention masquée.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10816 ajoute des réglages fa-vec pour M3 et de nouveaux binaires

Le projet llama.cpp a publié la version b10816, qui inclut des mises à jour du backend Metal pour les appareils Apple Silicon. La publication se concentre sur l'ajout des derniers réglages fast-vector spécifiquement pour l'architecture de la puce M3.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp 0.4.0 ajoute le support de Qwen3.8-Flash-Next et Nemotron-3-Puzzle

llama.cpp version 0.4.0 introduit le support d'architecture initial pour les modèles Qwen3.8-Flash-Next et NVIDIA Nemotron-3-Puzzle-75B-A9B, ainsi qu'une mise à jour de la bibliothèque sous-jacente ggml vers la version 0.23.0.

github llama.cpp · il y a 8 h · 1 vue

llama.cpp b10798 rend configurable le flux de sortie des informations de build

Le projet llama.cpp a publié la version b10798, introduisant une modification pour rendre le flux de sortie des informations de build configurable. Cette mise à jour permet à `llama_print_build_info` d'écrire dans un FILE* fourni par l'appelant au lieu de coder en dur stderr.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10796 ajoute n_expert_used_max pour corriger le chargement de Nemotron-3-Puzzle

Le projet llama.cpp a publié la compilation b10796, qui inclut une modification du chargeur de modèles pour prendre en charge les modèles avec un nombre variable d'experts par couche.