github llama.cpp · à l'instant · inference

llama.cpp b10780 améliore l'API SYCL pour prendre en charge la copie peer-to-peer

Traduit de English → Français

Le projet llama.cpp a publié la version b10780, qui inclut une amélioration spécifique du backend SYCL. Cette mise à jour modifie l'API pour activer les capacités de copie peer-to-peer pour les appareils SYCL.

La release fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 et arm64), Android et openEuler.
Les backends matériels pris en charge incluent CPU, Vulkan, ROCm 10.0, OpenVINO, CUDA 12/13 et SYCL.
Les builds macOS Apple Silicon avec KleidiAI sont actuellement désactivés dans cette version.
Le support de CUDA 13 pour Windows arm64 est marqué comme une release preview (preview release).

Cette mise à jour permet aux utilisateurs d'utiliser la nouvelle fonctionnalité de copie peer-to-peer au sein de l'implémentation SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp ajoute le support pour NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduit le support pour le modèle NVIDIA Nemotron-3-Puzzle-75B-A9B, permettant l'inférence pour cette architecture de Mixture of Experts. La mise à jour implémente une infrastructure pour les tailles de feed-forward des experts par couche variables et le routage top-k, qui sont requis car le modèle possède 40 couches MoE avec des valeurs distinctes de n_ff_exp et top-k.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10777 réduit le travail redondant dans Q4_K multi-column MMVQ

Le projet llama.cpp a publié la compilation b10777, qui inclut des optimisations pour le backend SYCL de la multiplication matrice-vecteur (MMVQ) à colonnes multiples avec Q4_K. La mise à jour se concentre sur la réduction du travail computationnel redondant grâce à des stratégies de dépaquetage des poids et de réutilisation des activations.

github llama.cpp · il y a 14 h · 2 vues

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 15 h · 4 vues

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 23 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.