github llama.cpp · il y a 1 h · inference

llama.cpp b10642 ajoute le suivi de l'ID de token à la cellule KV

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10642, qui introduit une modification pour suivre les ID de token au sein de la cellule clé-valeur (KV).

La mise à jour principale consiste à ajouter le suivi de l'ID du token à l'implémentation de la cellule KV.
La fonction `get_prev_tokens` a été supprimée de ce commit spécifique et déplacée vers la demande de tirage principale #27762.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) et openEuler.

Cette version fournit des binaires mis à jour sur plusieurs plateformes avec la modification interne de la cellule KV.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10638 ajoute Vulkan cross_entropy_loss et publie des binaires

Le projet llama.cpp a publié la version b10638, qui implémente le support de Vulkan pour les fonctions `cross_entropy_loss` et `cross_entropy_loss_back`.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.

media Hugging Face Forums · il y a 6 h · 1 vue

Celestium Neon corrige l'OOM de SDXL sur les GPU de 4 Go en nettoyant la VRAM

Celestium Neon est un nouvel outil conçu pour nettoyer la VRAM et permettre l'inférence de Stable Diffusion XL (SDXL) sur des cartes graphiques disposant de seulement 4 Go de mémoire, comme la GTX 1650.

github llama.cpp · il y a 10 h · 2 vues

llama.cpp b10636 désactive la compilation de l'interface npm par défaut et nettoie le CI

Le projet llama.cpp a publié la version b10636, qui modifie le comportement par défaut lors de la compilation de l'interface web. La compilation de l'interface basée sur npm est désormais désactivée par défaut (LLAMA_BUILD_UI=OFF), l'interface étant intégrée à partir de sources locales ou de téléchargements précompilés.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10635 débloque mmq pour MoE sur sm_60

Le projet llama.cpp a publié la version b10635, qui inclut des mises à jour spécifiques du support CUDA. Le changement principal est le déblocage de la multiplication matricielle en précision mixte (mmq) pour les architectures Mixture of Experts (MoE) sur les GPU de capacité de calcul 6.0 (sm_60).