github llama.cpp · il y a 1 h · inference

llama.cpp b10581 ajoute le support DSpark pour bailinmoe3

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10581, qui introduit le support du backend DSpark pour activer le modèle bailinmoe3.

La version inclut des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 et arm64) et Android (arm64).
L'accélération GPU est disponible via CUDA 12.4/13.3, Vulkan, OpenCL Adreno, ROCm 7.14, OpenVINO et SYCL sur les plateformes prises en charge.
Le support de Bailinmoe3 utilise spécifiquement le backend DSpark comme détaillé dans la pull request #27508.
macOS Apple Silicon avec KleidiAI et Ubuntu x64 avec ROCm 7.14 sont actuellement désactivés pour cette compilation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

ggml optimise l'opération de concaténation en remplaçant le memcpy par élément par un memcpy au niveau des lignes

La bibliothèque ggml a optimisé son opération de concaténation en remplaçant les copies mémoire par élément par des opérations de memcpy au niveau des lignes. Ce changement fait partie de la version b10578 de llama.cpp, qui inclut divers binaires spécifiques à la plateforme et des mises à jour du graphe de calcul sous-jacent.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10576 ajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour SYCL

Le projet llama.cpp a publié la compilation b10576, qui réajoute les noyaux MMVQ réordonnés Q2_K et ESIMD pour le support de SYCL. Ce changement annule effectivement un commit précédent qui avait supprimé ces implémentations spécifiques de noyaux.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10577 corrige draft-mtp avec des embeddings

Le projet llama.cpp a publié la compilation b10577, qui inclut une correction pour draft-mtp lors de l'utilisation avec des embeddings. Cette mise à jour résout les problèmes #26352 et #27299.

github llama.cpp · il y a 7 h · 1 vue

mtmd ajoute le support de WebP via ffmpeg

Le composant mtmd dans llama.cpp prend désormais en charge le format d'image WebP grâce à l'intégration avec ffmpeg.

github llama.cpp · il y a 12 h · 2 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.