media Hugging Face Forums · il y a 1 h · open_models

Discussion communautaire sur la viabilité en production des LLMs spécifiques au domaine de 7B–14B

Traduit de English → Français

Un utilisateur du forum Hugging Face enquête pour savoir si les grands modèles de langage (LLM) petits et spécifiques au domaine, dans la plage de 7B à 14B paramètres, peuvent remplacer efficacement des modèles plus grands dans des environnements de production réels.

L'auteur note que bien que les LLMs de pointe affirment que cette approche est largement adoptée et efficace, les ingénieurs ayant une expérience du déploiement font preuve de prudence concernant le raisonnement, la cohérence et la fiabilité.
Il est rapporté que même des modèles plus grands à poids ouverts comme Qwen3.6-27B ont du mal avec ces aspects dans des applications réelles.
La discussion cherche des expériences pratiques et des leçons tirées de déploiements réels plutôt que des résultats de benchmarks.

Le fil vise à recueillir des études de cas concrètes et des retours d'utilisateurs pour clarifier l'écart entre les affirmations théoriques et les réalités du déploiement pratique pour les modèles spécifiques au domaine plus petits.

Importance 1/3 Confiance 1/3 Hugging Face Forums Retrieval & RAG Training methods

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 8 h

ELIZA avec autoencodeur clairsemé

Une nouvelle implémentation du chatbot ELIZA utilise une architecture d'autoencodeur clairsemé pour stocker les entrées de conversation dans une couche de mémoire latente, visant à améliorer les méthodes traditionnelles de correspondance de mots-clés. Le système emploie une structure encodeur-décodeur T5 avec une couche de mémoire de 32 768 neurones, où des entrées similaires sont activées via l'apprentissage contrastif.

media Hugging Face Forums · il y a 7 j

ShinBay-UCTF propose un cadre conceptuel pour l'apprentissage continu préservant la vie privée et le knowledge compressé

K7007 présente ShinBay-UCTF, un cadre conceptuel visant à combler les lacunes des systèmes d'IA en matière de redondance multilingue, de mémoire épisodique persistante et d'adaptation continue. La proposition décrit une architecture unifiée composée de trois couches interactives : Universal Compressed Training Format (UCTF), Mémoire Épisodique Inspirée du Biologique et Apprentissage Continu Piloté par l'Environnement.

arxiv arXiv cs.CL · il y a 15 j · 2 vues

La supervision contrefactuelle améliore le routage de recherche des LLM pour Gemma et Qwen

Les chercheurs traitent l'inefficacité des modèles de langage augmentés par la recherche en formulant un problème de routage de recherche au niveau des instances, qui décide s'il est nécessaire d'utiliser des preuves externes pour améliorer le succès de la tâche. Ils dérivent une supervision en comparant les résultats sans recherche et avec recherche forcée afin de construire un oracle, qui sert à la fois de critère d'évaluation et de signal d'apprentissage pour l'entraînement des politiques via un ajustement fin supervisé et une optimisation par préférence.

arxiv arXiv cs.CL · il y a 16 j · 1 vue

LongCrafter utilise une synthèse guidée par graphe de preuves pour améliorer la compréhension du contexte long

Les auteurs proposent LongCrafter, un cadre structuré pour synthétiser des données d'ajustement fin supervisé à contexte long qui répond aux limitations en couverture de tâches et fidélité. Il couple une taxonomie hiérarchique de 32 types de tâches avec un pipeline ancré dans les preuves pour générer des paires instruction-réponse strictement ancrées dans des segments de preuves localisés.

arxiv arXiv cs.CL · il y a 16 j

TR-RAG utilise un RL régularisé par enseignant pour corriger la dérive linguistique du RAG interlingual

Les chercheurs proposent TR-RAG, une méthode d'apprentissage par renforcement régularisé par enseignant qui traite de la dérive linguistique et de l'utilisation peu fiable des preuves dans la génération augmentée par recherche interlinguale avec des preuves en anglais. L'approche couple l'optimisation de la récompense avec la distillation on-policy, utilisant un enseignant gelé pour fournir des ancres inverse-KL par préfixe pour les réponses échantillonnées par un étudiant compact.