Un avocat pénaliste cherche des conseils techniques pour exécuter un grand modèle de langage local sur une RTX 4060 afin d'adapter des documents juridiques brésiliens sans envoyer de données confidentielles aux API cloud. L'utilisateur signale que la configuration actuelle, utilisant Qwen3 35B-A3B via llama.cpp, hallucine fréquemment les citations de statuts et les IDs de cas avec une grande confiance, même lorsque les informations correctes sont présentes dans le modèle source.
- Les contraintes matérielles limitent le modèle à une RTX 4060 (8 Go de VRAM) avec déchargement CPU, nécessitant une quantification efficace et des paramètres de contexte.
- Le workflow implique l'adaptation de modèles `.docx` existants en échangeant les faits tout en préservant un raisonnement juridique et des citations précis.
- Les tentatives d'atténuation actuelles incluent des invites système strictes « modification uniquement » qui réduisent mais n'éliminent pas les hallucinations.
- L'utilisateur demande des conseils sur le choix du modèle pour la fidélité des citations, la génération contrainte via des grammaires GBNF, l'ancrage RAG et les pipelines d'édition préservant `.docx`.
L'auteur vise à identifier des techniques fiables pour le traitement de documents juridiques local et hors ligne qui empêchent l'invention de fausses références juridiques.