github llama.cpp · il y a 1 h · inference

llama.cpp b10798 rend configurable le flux de sortie des informations de build

Traduit de English → Français

Le projet llama.cpp a publié la version b10798, introduisant une modification pour rendre le flux de sortie des informations de build configurable. Cette mise à jour permet à `llama_print_build_info` d'écrire dans un FILE* fourni par l'appelant au lieu de coder en dur stderr.

Le paramètre est par défaut stderr, donc les appelants existants conservent leur comportement actuel.
La commande de version dans llama-app transmet désormais stdout, garantissant que la sortie de version brute va à l'emplacement attendu.

Cette amélioration augmente la flexibilité pour les développeurs qui doivent rediriger programmatiquement la sortie des informations de build.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10796 ajoute n_expert_used_max pour corriger le chargement de Nemotron-3-Puzzle

Le projet llama.cpp a publié la compilation b10796, qui inclut une modification du chargeur de modèles pour prendre en charge les modèles avec un nombre variable d'experts par couche.

arxiv arXiv cs.LG · il y a 11 h · 1 vue

FlashAttention-4 introduit Direct-P pour l'inférence et l'entraînement FP4 sensibles au matériel

FlashAttention-4 comble les limitations de performance des cœurs tensoriels 4 bits (FP4) de Blackwell en introduisant de nouveaux chemins pour l'inférence non causale et l'entraînement causal. La méthode, appelée Direct-P, mappe directement les scores aux probabilités FP4 afin de contourner les surcoûts de conversion softmax qui dominent généralement lorsque les produits matriciels diminuent.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10795 fusionne les opérations SYCL

Le projet llama.cpp a publié la version b10795, qui inclut une nouvelle optimisation pour le backend SYCL. Cette mise à jour permet la fusion des chaînes RMS_NORM+MUL+ADD et ADD+ADD residual sous le drapeau GGML_SYCL_ENABLE_FUSION.

github llama.cpp · il y a 17 h · 3 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10792 corrige la génération de grammaire GBNF pour les schémas d'objets vides

Le projet llama.cpp a publié la compilation b10792, qui inclut une correction pour la génération de grammaire GBNF adressant spécifiquement les problèmes avec les schémas d'objets vides.