github llama.cpp · il y a 2 j · inference

llama.cpp b11077 corrige la transmission de la clé API du routeur aux instances enfants

Traduit de English → Français

La version llama.cpp b11077 corrige un bug dans le mode routeur où l'argument `--api-key-file` était incorrectement transmis aux instances enfants générées par le routeur. Cela provoquait des erreurs 401 pour les clients utilisant `--api-key` lors des complétions de chat et empêchait les appels internes de flux du routeur de fonctionner.

Définit `LLAMA_ARG_API_KEY_FILE` comme non défini dans `unset_reserved_args()` afin qu'aucune clé API n'atteigne les instances enfants.
Garantit que toutes les clés acceptées par le routeur fonctionnent de bout en bout sans revalidation contre les clés du fichier.
Empêche les appels internes de flux du routeur, tels que POST /v1/streams/lookup et DELETE /v1/stream, d'être rejetés silencieusement avec des erreurs 401.

Cette correction résout le problème #28820 en garantissant que l'authentification reste la responsabilité du routeur plutôt que des processus enfants.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 1 h · 11 vues En direct

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.

arxiv arXiv cs.AI · il y a 4 h · 9 vues

CliffCompaction réduit de 50 % les coûts des agents de codage tout en maintenant la performance

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour réduire les coûts des agents de codage à long terme jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore la performance sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant une information compacte fidèle par troncature plutôt que par reformulation.

arxiv arXiv cs.LG · il y a 5 h · 9 vues

CliffCompaction réduit les coûts des agents de codage à long terme jusqu'à 50 % tout en maintenant les performances

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour les agents traitant des millions de tokens, qui réduit les coûts jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore les performances sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant la fidélité de l'information par troncature plutôt que par reformulation.

github llama.cpp · il y a 6 h · 13 vues

llama.cpp b11118 introduit un cache DMA à mappage direct pour la gestion des masques FA HVX

Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).