github llama.cpp · à l'instant · inference

llama.cpp b10514 ajoute le support de conversion pour les modèles GraniteSWA et GraniteMoeSWA

Traduit de English → Français

Le projet llama.cpp a publié la version b10514, qui introduit une infrastructure de conversion pour les architectures IBM's GraniteSWAForCausalLM et GraniteMoeSWAForCausalLM. Cette mise à jour permet aux utilisateurs de convertir ces types de modèles spécifiques au format GGUF pour une utilisation avec llama.cpp.

Ajout du support feat(convert) pour GraniteSWAForCausalLM et GraniteMoeSWAForCausalLM.
Mise en œuvre de l'infrastructure de conversion pour les tableaux rope_pattern et la détermination du rope par couche.
Correction de la logique du motif SWA pour prendre en charge les couches non-rope et correction du nommage pour ffn gate inp.
Mise à jour de llama_hparams avec des constantes has_rope et suppression des fallbacks rope_finetuned hacky.
Inclusion de binaires pour macOS, Linux, Windows et Android via CPU, CUDA, Vulkan, OpenCL et autres backends.

Cette version permet à l'écosystème llama.cpp de prendre en charge nativement les modèles IBM's sliding window attention, élargissant la gamme d'architectures compatibles disponibles pour l'inférence locale.

Importance 1/3 Confiance 1/3 llama.cpp IBM Inference efficiency

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 1 h · 1 vue En direct

Les mesures suggèrent de revoir la valeur par défaut de q_proj/v_proj pour les modules cibles de LoRA

L'auteur mesure le chevauchement des sous-espaces de gradient sur quatre modèles pour évaluer la valeur par défaut standard de LoRA qui cible les projections de requête et de valeur. L'analyse indique que cette valeur par défaut peut être sous-optimal lorsque l'objectif est de conserver les capacités précédentes plutôt que de maximiser la précision sur une nouvelle tâche.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b10509 ajoute le support de ggml_rope_set_offset pour Metal, CUDA et Vulkan

Le projet llama.cpp a publié la compilation b10509, qui introduit le support de la fonction `ggml_rope_set_offset` sur plusieurs backends matériels. Cette mise à jour inclut les implémentations CPU, Metal, CUDA et Vulkan pour la nouvelle opération.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10505 ajoute l'option de préréglage dedup-cache-models

Le projet llama.cpp a publié la version b10505, qui introduit une nouvelle option de préréglage `dedup-cache-models` pour le composant serveur.

lab Liquid AI · il y a 21 h · 1 vue

Les checkpoints LFM2.5 Q4_0 utilisent la Distillation Aware de Quantification pour récupérer 97 % de la précision BF16

L'équipe LFM2.5 a publié des checkpoints GGUF 4 bits mis à jour pour les modèles LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct et LFM2.5-2.6B, entraînés à l'aide de la Distillation Aware de Quantification (QAD). Cette technique distille un modèle enseignant haute précision dans un élève quantifié afin de récupérer la précision perdue lors de la quantification post-entraînement standard.

lab Hugging Face Blog · il y a 22 h · 2 vues

Liquid AI publie les checkpoints LFM2.5 Q4_0 via la Distillation Aware de Quantification

Liquid AI a publié des checkpoints GGUF Q4_0 pour sa famille de modèles LFM2.5, en utilisant une nouvelle méthode d'entraînement appelée Distillation Aware de Quantification (QAD). Cette approche distille des modèles enseignants de haute précision dans des modèles étudiants quantifiés afin de récupérer la précision perdue lors de la quantification post-entraînement standard.