github llama.cpp · il y a 2 h · inference

llama.cpp b10608 corrige l'atome moov vidéo et SIGPIPE

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10608, qui inclut une correction pour le module vidéo afin de gérer correctement l'atome moov à la fin des fichiers. Cette mise à jour traite également les problèmes de SIGPIPE en ajoutant la gestion des cas de pipe cassé sur Windows.

mtmd: video : correction de l'atome moov à la fin du fichier
Correction de SIGPIPE et gestion du cas de pipe cassé sur Windows

Cette version fournit des binaires mis à jour pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

L'assistant LLM mobile réduit les coûts de tokens de 75 % grâce au cache et à la compression de l'historique

Un développeur d'applications mobiles a réduit les coûts des API LLM, qui étaient quatre fois supérieurs à l'estimation initiale, à environ un quart de ce montant en traitant deux inefficacités principales : la renvoi naïf de l'historique complet et l'injection redondante du contexte RAG.

github llama.cpp · il y a 1 h · 6 vues En direct

llama.cpp b10610 raccourcit le nommage des appareils virtuels dans CUDA et Metal

Le projet llama.cpp a publié la version b10610, qui inclut une modification pour raccourcir le nommage des appareils virtuels au sein du backend ggml pour les plateformes CUDA et Metal.

github llama.cpp · il y a 6 h · 17 vues

llama.cpp b10605 aplatie les projections mamba2 pour dispatcher GEMM

Le projet llama.cpp a publié la compilation b10605, qui inclut une optimisation clé pour l'architecture Mamba2. La mise à jour aplatie les projections d'entrée et de sortie des modèles Mamba2 pour dispatcher des opérations de Multiplication Générale de Matrices (GEMM) au lieu d'opérations de Multiplication Générale de Matrice par Vecteur (GEMV).

media r/LocalLLaMA · il y a 7 h · 16 vues

Qwen 3.8 27B marque 72.9 sur le benchmark Aider

Le modèle Qwen 3.8 27B, fonctionnant en FP8 avec une fenêtre de contexte de 256K via vLLM, a obtenu un score de 72.9 sur le benchmark Aider.

github llama.cpp · il y a 7 h · 11 vues

llama.cpp b10604 ajoute le support du format DSV4 de Deepseek 4 et des binaires pour macOS/iOS

Le projet llama.cpp a publié la version b10604, introduisant le support du format de modèle Deepseek 4 (DSV4) ainsi que de nouveaux binaires précompilés pour macOS et iOS.