media r/LocalLLaMA · il y a 1 h · open_models

Hugging Face lance The Stack v3, le plus grand jeu de données de code ouvert

Traduit de English → Français

Hugging Face a publié The Stack v3, décrit comme le plus grand jeu de données de code ouvert à ce jour. La publication propose deux méthodes d'accès distinctes pour répondre aux besoins des différents utilisateurs.

stack-v3-train : Une version presque dédupliquée, filtrée par qualité et avec les PII masquées, contenant du contenu en ligne, accessible via la bibliothèque Hugging Face datasets.
stack-v3-full : L'intégralité du corpus de 114 To stocké dans un HF Storage Bucket, préservant tous les doublons avec les cluster IDs et les stubs pour les fichiers exclus.

Cette publication offre aux chercheurs et développeurs l'accès à un immense dépôt de code brut, tout en fournissant une variante prétraitée prête à l'emploi pour l'entraînement.

Importance 2/3 r/LocalLLaMA Hugging Face Open weights Training data

Lire l'original

RAGU présente un moteur GraphRAG multi-étapes avec l'extracteur compact Meno-Lite-0.1

RAGU est un moteur GraphRAG modulaire open-source qui améliore l'intégration des connaissances structurées en séparant l'extraction des entités de leur consolidation. Il utilise un processus d'extraction typé en deux étapes, une déduplication basée sur DBSCAN, la synthèse par LLM et la détection de communautés Leiden pour réduire le bruit et la fragilité présents dans les systèmes à passage unique.

lab IBM Research (Granite) · il y a 8 j

IBM open-source CodeAlchemy, un immense jeu de données synthétique de code de haute qualité

IBM a open-sourcé CodeAlchemy, un pipeline et un jeu de données synthétiques conçus pour améliorer les performances des modèles d'IA en associant le code à des traces d'exécution. La publication comprend près de 1 trillion de tokens sur 15 langages de programmation, totalisant au moins 200 fois la taille de Wikipédia.

arxiv arXiv cs.CL · il y a 10 j · 1 vue

RAGU introduit un GraphRAG multi-étapes avec l'extracteur compact Meno-Lite-0.1

RAGU est un moteur GraphRAG modulaire open-source qui améliore l'intégration des connaissances structurées en séparant l'extraction de la consolidation grâce à un processus en deux étapes impliquant l'extraction typée, le déduplication, la synthèse et la détection de communautés.

arxiv arXiv cs.CL · il y a 11 j

Freya-TTS publie un modèle TTS turc sans tokenizeur avec un WER de 8,0 %

Les chercheurs présentent Freya-TTS, un modèle de synthèse vocale (TTS) compact et sans tokenizeur, optimisé pour le turc, qui atteint un taux d'erreur de mots (WER) de 8,0 % sur le benchmark Freya-TR-Eval. Le Diffusion Transformer à appariement de flux conditionnel non-autoregressif de 183,2 millions de paramètres opère dans l'espace latent continu figé d'AudioVAE2, permettant une reconstruction haute qualité à 48 kHz sans phonémiseur ni tokenizeur de parole discret.

arxiv arXiv cs.AI · il y a 15 j

DiaLLM étudie l'écart de robustesse-génération dans l'adaptation aux dialectes anglais

L'étude DiaLLM comble le fossé entre la compréhension et la production de l'anglais dialectal en effectuant un pré-entraînement continu sur trois familles de modèles linguistiques à poids ouverts, basées sur le Corpus international de l'anglais. Elle applique des paradigmes d'entraînement postérieur implicites et explicites combinés à trois stratégies d'alignement pour comparer l'anglais australien, indien et britannique du Nord.