media Hugging Face Forums · il y a 5 j · open_models

Janas-LLM cherche des testeurs pour CPU-only MoE inference engine

Traduit de English → Français

Janas-LLM est un nouveau C-based, GPL-3.0 inference engine conçu pour exécuter des modèles Mixture-of-Experts plus grands que la RAM sur des machines Linux ordinaires sans GPU en diffusant des experts depuis le SSD.

Le développeur demande des tests communautaires pour ajuster les performances sur diverses configurations matérielles, ciblant spécifiquement les AMD CPUs, les processeurs Intel sans AVX-VNNI, les systèmes avec 16 GB ou moins de mémoire et les SATA SSDs. Le script fourni automatise la construction du engine, le téléchargement des modèles Qwen, la vérification des résultats arithmétiques bit-identical, la mesure de la vitesse sur une machine inerte et le rapport des résultats via GitHub issues.

Cet effort vise à améliorer les self-tuning capabilities du engine pour les threads, l'utilisation du GPU et les stratégies de chargement des experts sur une plus grande variété de matériel que la seule machine de test du développeur.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Local inference

Lire l'original

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.

github llama.cpp · il y a 7 h · 2 vues

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.

github llama.cpp · il y a 11 h · 2 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 13 h · 2 vues

llama.cpp b11272 optimise l'opération de concaténation Hexagon

Le projet llama.cpp a publié la compilation b11272, qui inclut des optimisations pour le backend Hexagon. Le changement principal se concentre sur l'optimisation de l'opération de concaténation pour améliorer les performances sur le matériel Qualcomm Snapdragon.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b11260 ajoute le support de FP32 GELU_ERF et GEGLU_ERF

Le projet llama.cpp a publié la version b11260, introduisant le support des fonctions d'activation FP32 GELU_ERF et GEGLU_ERF dans le backend Hexagon. Cette mise à jour inclut également des optimisations pour réduire la pression sur les registres au sein des noyaux associés.