github llama.cpp · il y a 1 h · inference

llama.cpp b10437 ajoute le support des modèles MiniMax-Text-01 et MiniMax-M1

Traduit de English → Français

Le projet llama.cpp a publié la version b10437, qui introduit la prise en charge native des modèles de langage causal MiniMax-Text-01 et MiniMax-M1. Cette mise à jour inclut les scripts de conversion nécessaires, les modèles de chat et les implémentations d'architecture du modèle pour exécuter ces modèles spécifiques dans le cadre de llama.cpp.

Ajout du support pour `MiniMaxText01ForCausalLM` et `MiniMaxM1ForCausalLM` au niveau de la couche modèle.
Implémentation de la suppression des tokens pour les embeddings avec des valeurs nulles afin d'éviter de perturber le processus d'échantillonnage.
Optimisation des performances en supprimant les opérations de transposition d'état et en utilisant des fonctions communes pour une implémentation concise.
Ajout d'un modèle de chat Jinja spécifiquement pour MiniMax-M1.
Inclusion des artefacts de build pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et divers accélérateurs.

Cette version permet aux utilisateurs d'exécuter localement les modèles MiniMax en utilisant l'infrastructure d'inférence existante de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp MiniMax Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 19 j · 4 vues

llama.cpp b10142 ajoute un support préliminaire pour la vision MiniMax-M3

Le projet llama.cpp a publié la version b10142, qui introduit un support préliminaire de la vision pour le modèle MiniMax-M3. Cette mise à jour implémente un portage en mode texte uniquement qui réutilise les composants existants de MiniMax-M2, notamment GQA avec QK-norm par tête et rotation partielle, experts de style DeepSeek-V3 et activation swigluoai.

github llama.cpp · il y a 7 h

llama.cpp b10435 corrige le coût quadratique dans jinja gather_string_parts

Le projet llama.cpp a publié la version b10435, qui résout un problème de performance au sein du moteur de templates Jinja. Le changement principal corrige un bug de complexité temporelle quadratique dans la fonction `gather_string_parts`.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10434 transmet reasoning_effort aux modèles

Le projet llama.cpp a publié la compilation b10434, qui ajoute le support pour transmettre le paramètre `reasoning_effort` aux modèles Jinja. Ce changement garantit que les valeurs de `reasoning_effort` d'OpenAI Chat Completions sont stockées et disponibles pendant la génération.

lab NVIDIA Research · il y a 11 h · 3 vues

Nvidia présente FusionRelight pour le re-éclairage de portraits en temps réel via une fusion hybride de connaissances de domaine

Des chercheurs de Nvidia ont présenté FusionRelight, une méthode de re-éclairage de portraits qui combine un transfert d'illumination physiquement plausible avec la préservation de l'identité et une inférence compacte en temps réel. L'approche utilise la Fusion Hybride de Connaissances de Domaine (HDKF), un cadre d'entraînement qui distille les a priori de physique, de réflectance et de réalisme à partir de données synthétiques, One-Light-at-a-Time (OLAT) et in-the-wild dans un modèle étudiant.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b10431 ajoute le rollback d'état récurrent pour les modèles SSM

Le projet llama.cpp a publié la version b10431, qui introduit le support du rollback de l'état récurrent (RS) dans l'opération ggml_ssm_scan. Ce changement permet le rollback RS pour les modèles Nemotron sur les backends CPU et CUDA.