github llama.cpp · il y a 1 h · inference

llama.cpp b10229 corrige les données de profilage OpenCL non vidées

Traduit de English → Français

Le projet llama.cpp a publié la version b10229, qui inclut une correction critique pour le backend OpenCL. La mise à jour résout un problème où les données de profilage n'étaient pas écrites lors de la terminaison du programme.

La correction incrémente `ref_count` dans `ggml_backend_opencl_init()` pour empêcher qu'il ne devienne -1 dans la méthode `free()`.
Cela garantit que les données de profilage sont correctement vidées et sauvegardées lorsque `GGML_OPENCL_PROFILING` est activé.
Les binaires sont disponibles pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL et HIP.

Ce changement garantit que les utilisateurs dépendant du profilage OpenCL peuvent capturer et analyser avec succès les métriques de performance sans perte de données.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Hardik Kumar publie la matrice de prix d'inférence HF montrant un écart de prix jusqu'à 4,66x

Un nouvel ensemble de données publié sur Hugging Face fournit une matrice de prix complète pour les fournisseurs d'inférence de modèles, révélant des disparités de coûts significatives pour les mêmes modèles entre différents vendeurs.

github llama.cpp · il y a 22 h · 7 vues

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.

media r/LocalLLaMA · il y a 1 j · 3 vues

Meituan lance LongCat-Flash-Lite-Sparse avec une fenêtre de contexte de 1M

Meituan a publié les poids pour LongCat-Flash-Lite-Sparse, une nouvelle variante de son modèle LongCat-Flash-Lite. La mise à jour introduit LongCat Sparse Attention (LSA) pour remplacer le MLA dense et étend la prise en charge native de la longueur du contexte à 1 million de tokens.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10218 ajoute le support du downsample pour minicpmv46

Le projet llama.cpp a publié la compilation b10218, qui inclut l'ajout du support du downsample pour minicpmv46 via la pull request #25993. Cette mise à jour introduit un merger VIT 4x ignore et place le mode downsample à l'intérieur du format GGUF.

github llama.cpp · il y a 2 j · 8 vues

llama.cpp b10216 ajoute le support du pooling 1D au backend Vulkan

Le projet llama.cpp a publié la version b10216, qui introduit un support complet pour GGML_OP_POOL_1D sur le backend Vulkan. Cette mise à jour inclut un nouveau shader de calcul reflétant l'implémentation existante de pool2d et corrige un plantage survenant lorsque les dimensions du tenseur entraînaient des limites finales négatives.