github llama.cpp · il y a 13 h · inference

llama.cpp b10754 corrige les lectures hors limites dans les noyaux d'image OpenCL d'Adreno

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10754, qui inclut une correction critique pour OpenCL sur les GPU Adreno afin de prévenir les lectures de mémoire hors limites dans les noyaux de traitement d'image.

La récupération de ligne du décodage q4_K GEMV est maintenant bornée sur une grille x remplie.
Le contrat de tuilage pour les GEMM KQ/KQV d'image est strictement appliqué.
La logique de division pour l'image KQ/KQV est déterminée au moment du dispatch, plutôt que de dépendre des strides.

Cette mise à jour garantit la stabilité et la correction pour les utilisateurs exécutant llama.cpp avec l'accélération OpenCL sur du matériel Adreno.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 8 h · 1 vue

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.