media Hugging Face Forums · il y a 1 h · open_models

OncoLLM adapte MedGemma 4B et 27B aux tâches d'oncologie avec Unsloth

Traduit de English → Français

Les chercheurs ont affiné les modèles MedGemma 4B et 27B pour des tâches d'oncologie en utilisant Unsloth, achevant le processus sur un seul DGX Spark. Les modèles OncoLLM résultants, ainsi que le jeu de données d'entraînement et un rapport détaillé, sont disponibles publiquement.

Le modèle 4B a été affiné en utilisant LoRA, tandis que le modèle 27B a utilisé QLoRA.
Une note technique souligne que la version 2026.9.12 d'Unsloth met à l'échelle l'adaptateur 4B par environ 0.5 au lieu du ratio alpha/r nominal de 0.25.
Les modèles source et le code sont attribués à Grujowmi (ANTOINE Pierre) sur Hugging Face, avec le rapport complet hébergé sur Zenodo.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Open weights

Lire l'original

Aleph Alpha publie Kolibri, un modèle MoE anglais-allemand de 78,1 milliards de paramètres avec 3,46 milliards de paramètres actifs

Aleph Alpha a publié Kolibri-1, un modèle de langage à experts mixtes (Mixture-of-Experts) à poids ouverts conçu pour des tâches bilingues en anglais et en allemand. Le modèle compte 78,1 milliards de paramètres au total mais n'en active que 3,46 milliards par token, ce qui lui permet de fonctionner sur un seul GPU B200, B300 ou H200.

media r/LocalLLaMA · il y a 6 j · 108 vues

ISTA publie les GGUF GSQ-RCO pour Qwen3.8-Flash-Next et une version Coder élaguée à 50 % d'experts

Le laboratoire Deep Algorithms and Systems d'ISTA a publié des versions quantifiées au format GGUF du modèle sparse mixture-of-experts Qwen3.8-Flash-Next, ainsi qu'une build expérimentale ciblée sur les capacités avec la moitié de ses experts supprimés.

media Hugging Face Forums · il y a 10 j · 51 vues

VeriLoop E2 : modèle post-entraîné de 27B avec échelle GGUF allant de BF16 à IQ1_M

Le Tsinghua SIGS Robot Lab a publié VeriLoop E2, un modèle post-entraîné de 27B basé sur Qwen3.8-27B pour le code vérifiable, les mathématiques et le raisonnement scientifique. La publication introduit la Récurrence Gouvernée par VeriLoop (VGR), qui sépare la génération de la vérification externe afin d'assurer que les transitions d'état améliorent strictement les dimensions des preuves.

lab Hugging Face Blog · il y a 14 j · 37 vues

tokenizers v1 version candidate offre un encodage 3 à 30 fois plus rapide grâce au fractionnement et à la mise en cache du bitstream

La bibliothèque tokenizers a publié une version candidate pour la version 1 qui améliore considérablement les performances de l'encodage de texte, en résolvant les goulots d'étranglement dans les flux de travail d'entraînement et de service. La mise à jour maintient la compatibilité de l'API avec la v0.23 tout en offrant des accélérations substantielles sur dix familles de modèles.

lab Hugging Face Blog · il y a 14 j · 38 vues

Multiverse reformule la suppression de blocs LLM en optimisation d'Ising pour une compression profonde

Multiverse a publié un article détaillant une méthode qui reformule l'élagage des grands modèles de langage comme un problème d'optimisation binaire sous contrainte mappé à un verre d'Ising. En traitant les blocs transformeur comme des spins avec des couplages par paire dérivés de l'hessienne de la perte, l'approche identifie les configurations optimales de suppression de blocs sans nécessiter de benchmarking itératif.