github llama.cpp · à l'instant · inference

llama.cpp b11138 analyse les opérateurs +/- unaires avant les variables

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11138, qui met à jour l'analyseur de modèles Jinja pour gérer les opérateurs unaires plus et moins avant les variables.

Le lexer émet désormais des tokens unary_operator pour des expressions comme -n ou +n, permettant leur analyse avec une priorité multiplicative.
Ce changement permet l'évaluation correcte de tranches telles que items[:-n] et GigaChat indent[:-indent_factor].
Les +/- unaires sont contraints de se lier uniquement à l'opérande primaire ou postfixé, garantissant que -n|abs est évalué comme (-n)|abs plutôt que -(n|abs).
La version inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows et openEuler.

Cette mise à jour garantit que la logique de modèle impliquant une indexation négative ou des variables signées fonctionne correctement dans l'implémentation Jinja de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11140 active sparse-fa pour le préremplissage dsv4 sur CUDA

Le projet llama.cpp a publié la version b11140, qui inclut une optimisation CUDA permettant d'activer sparse-fa pour le préremplissage dsv4. Cette mise à jour résout les problèmes de performance dans le processus de balayage du masque flash attention en templateant les noyaux pour permettre le déroulement des boucles au moment de la compilation.

github llama.cpp · il y a 2 h · 12 vues

llama.cpp b11136 ajoute le support de video_url d'OpenAI à llama-server

Le projet llama.cpp a publié la compilation b11136, qui met à jour llama-server pour accepter le type de contenu "video_url" standard d'OpenAI pour les entrées vidéo. Auparavant, le serveur n'acceptait qu'un type non standard "input_video" et rejetait les URIs de données, causant des problèmes de compatibilité avec les clients conformes à OpenAI.

github llama.cpp · il y a 3 h · 11 vues

llama.cpp b11132 ajoute le support du backbone de brouillon Gemma 4 DSpark

Le projet llama.cpp a publié la version b11132, introduisant le support pour le backbone de brouillon Gemma 4 DSpark. Cette mise à jour active la conversion GGUF et les capacités d'exécution pour les brouillons Gemma 4 avec attention complète et SWA, y compris les poids de sortie liés et les métadonnées du backbone booléennes.

github llama.cpp · il y a 8 h · 12 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 9 h · 12 vues

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.