Um advogado criminalista está buscando aconselhamento técnico para executar um modelo de linguagem grande local em uma RTX 4060 para adaptar documentos legais brasileiros sem enviar dados confidenciais para APIs em nuvem. O usuário relata que a configuração atual, usando Qwen3 35B-A3B via llama.cpp, frequentemente alucina citações estatutárias e IDs de casos com alta confiança, mesmo quando as informações corretas estão presentes no modelo-fonte.

  • As restrições de hardware limitam o modelo a uma RTX 4060 (8GB VRAM) com descarga para CPU, exigindo quantização eficiente e configurações de contexto.
  • O fluxo de trabalho envolve adaptar modelos `.docx` existentes trocando fatos enquanto preserva o raciocínio legal preciso e as citações.
  • As tentativas atuais de mitigação incluem prompts do sistema estritos de "apenas edição" que reduzem, mas não eliminam, as alucinações.
  • O usuário solicita orientação sobre a seleção de modelos para fidelidade de citação, geração restrita via gramáticas GBNF, fundamentação RAG e pipelines de edição que preservem `.docx`.

O autor visa identificar técnicas confiáveis para o processamento local e offline de documentos legais que impeçam a invenção de referências legais falsas.